ნაწილი 2. ThinkBioT მოდელი Google AutoML– ით: 8 ნაბიჯი

2024 ავტორი: John Day | [email protected]. ბოლოს შეცვლილი: 2024-01-30 10:17

ThinkBioT შექმნილია იყოს "Plug and Play", Edge TPU თავსებადი TensorFlow Lite მოდელებით.

ამ დოკუმენტაციაში ჩვენ განვიხილავთ სპექტროგრამების შექმნას, თქვენი მონაცემების ფორმატირებას და Google AutoML- ის გამოყენებას.

კოდი ამ სახელმძღვანელოში დაიწერება bash, ასე რომ იქნება მრავალ პლატფორმა თავსებადი.

დამოკიდებულებები

• თუმცა დაწყებამდე თქვენ უნდა დააინსტალიროთ Sox ბრძანების ხაზის აუდიო პროგრამა, რომელიც თავსებადია Windows, Mac და Linux მოწყობილობებთან.
• თუ Windows მოწყობილობაზე ხართ, უმარტივესი გზაა სკრიპტების გაშვება Git– ის საშუალებით, ამიტომ მე გირჩევთ გადმოტვირთვას და დაინსტალირებას, რადგან ის სასარგებლოა მრავალმხრივ,
• კოდის რედაქტირებისთვის გამოიყენეთ თქვენი საყვარელი რედაქტორი ან დააინსტალირეთ NotePad ++ Windows- ისთვის ან Atom სხვა ოპერაციული სისტემებისთვის.

** თუ თქვენ გაქვთ არსებული TensorFlow მოდელი ან გსურთ სცადოთ სწავლის გადატანა არსებულ მოდელზე, მიმართეთ Google Coral დოკუმენტაციას.

ნაბიჯი 1: დააყენეთ Google Cloud Storage Bucket

1. შედით თქვენს gmail ანგარიშში (ან შექმენით ერთი, თუ არ გაქვთ Google ანგარიში)

2. გადადით პროექტის ამომრჩეველ გვერდზე და შექმენით ახალი პროექტი თქვენი მოდელისა და სპექტროგრამის ფაილებისთვის. თქვენ დაგჭირდებათ ბილინგის ჩართვა შემდგომი პროგრესისათვის.

3. ეწვიეთ https://cloud.google.com/storage/ და დააჭირეთ გვერდის ზედა ნაწილში შექმნის ღილაკს.

4. შეიყვანეთ თქვენი სასურველი ველის სახელი და შექმენით ნაგულისხმევი პარამეტრების მიღების ვედრო.

ნაბიჯი 2: ფორმატირება თქვენი მონაცემები და შექმნა მონაცემთა ნაკრები Csv

მე შევიმუშავე დამხმარე სკრიპტი, რომ შევქმნა თქვენი dataset.csv ფაილი, რომელიც საჭიროა თქვენი მოდელის შესაქმნელად. მონაცემთა ნაკრების ფაილი აკავშირებს თქვენს თაიგულში არსებულ სურათებს მონაცემთა ნაკრებში მათ ეტიკეტებთან..

1. ჩამოტვირთეთ ThinkBioT საცავი GitHub– დან და

2. დააკოპირეთ tbt_spect_example.sh ფაილი Tools დირექტორია ახალი საქაღალდეში თქვენს სამუშაო მაგიდაზე.

3. დაამატეთ აუდიო ფაილები, რომელთა გამოყენება გსურთ თქვენს მოდელში, ჩასვით ისინი საქაღალდეებში, რომლებსაც აქვთ მათი ეტიკეტი (ანუ რაში გსურთ რომ დაალაგოთ ისინი. მაგალითად, თუ თქვენ გინდათ ძაღლების ან კატების ამოცნობა, შეგიძლიათ გქონდეთ საქაღალდე ძაღლი, ქერქის ბგერებით ან საქაღალდე სახელწოდებით კატა კატის ხმებით და ა.შ.

4. გახსენით tbt_spect_example.sh Notepad ++ - ით და შეცვალეთ "yourbucknamenename" 54 -ე სტრიქონით თქვენი Google Storage Bucket- ის სახელით. მაგალითად, თუ თქვენს თაიგულს ერქვა myModelBucket, ხაზი შეიცვლება

bucket = "gs: // myModelBucket/spectro-data/"

5. გაუშვით კოდი თქვენს Bash ტერმინალში შემდეგი აკრეფით, კოდი გაუშვებს და შექმნის თქვენს ლეიბლებს csv ფაილს და თქვენს მაგიდის თავზე შექმნილ სპექტრულ მონაცემებს, სპექტროგრამებით.

sh tbt_spect_example.sh

ნაბიჯი 3: ატვირთეთ თქვენი სპექტროგრამები თქვენს ბუკეტში

Google Storage– ზე ატვირთვის რამდენიმე გზა არსებობს, უმარტივესია პირდაპირი საქაღალდის დატვირთვა;

1. დააწკაპუნეთ თქვენი თაიგულის სახელზე თქვენს Google Storage გვერდზე.

2. აირჩიეთ "UPLOAD FOLDER" ღილაკი და შეარჩიეთ თქვენი ბოლო ნაბიჯი შექმნილ "spectro-data/" დირექტორია.

ან

2. თუ თქვენ გაქვთ დიდი რაოდენობით ფაილი, შეგიძლიათ ხელით შექმნათ "spectro-data/" დირექტორია "CREATE FOLDER"-ის არჩევით, შემდეგ გადადით საქაღალდეში და შეარჩიეთ "UPLOAD FILES". ეს შეიძლება იყოს დიდი ვარიანტი მონაცემთა დიდი ნაკრებისთვის, რადგან თქვენ შეგიძლიათ ატვირთოთ სპექტროგრამები ნაწილებად, თუნდაც მრავალი კომპიუტერის გამოყენებით ატვირთვის სიჩქარის გასაზრდელად.

ან

2. თუ თქვენ ხართ მოწინავე მომხმარებელი, ასევე შეგიძლიათ ატვირთოთ Google Cloud Shell- ის საშუალებით;

gsutil cp spectro-data/* gs: // your-bucket-name/spectro-data/

თქვენ ახლა უნდა გქონდეთ საკმაოდ ლამაზი სპექტროგრამებით სავსე ვედრო!

ნაბიჯი 4: ატვირთეთ თქვენი მონაცემთა ნაკრები Csv

ახლა ჩვენ უნდა ავტვირთოთ model-labels.csv ფაილი თქვენს "spectro-data/" დირექტორიაში Google Storage– ში, ეს არსებითად იგივეა, რაც ბოლო ნაბიჯი, თქვენ უბრალოდ ატვირთავთ ერთ ფაილს მრავალის ნაცვლად.

1. დააწკაპუნეთ თქვენი თაიგულის სახელზე თქვენს Google Storage გვერდზე.

2. აირჩიეთ UPLOAD FILE ღილაკი და აირჩიეთ თქვენი model-labels.csv ფაილი, რომელიც ადრე შექმენით.

ნაბიჯი 5: შექმენით მონაცემთა ნაკრები

1. პირველ რიგში თქვენ უნდა მოძებნოთ AutoML VIsion API, ეს შეიძლება იყოს ცოტა სახიფათო! უმარტივესი გზაა მოძებნოთ "automl vision" თქვენი Google Cloud საცავის საძიებო ზოლში (სურათზე).

2. მას შემდეგ რაც დააწკაპუნებთ API ბმულზე თქვენ დაგჭირდებათ API ჩართვა.

3. ახლა თქვენ იქნებით AutoML Vision Dashboard (სურათზე) დააწკაპუნეთ მონაცემთა ნაკრების ახალ ღილაკზე და შეარჩიეთ ერთი ლეიბლი და "CSV ფაილის არჩევა" ვარიანტი. შემდეგ თქვენ შეიტანთ ბმულს თქვენი მოდელის-labels.csv ფაილზე თქვენს საცავში. თუ თქვენ მიჰყევით ამ გაკვეთილს, ის იქნება ქვემოთ

gs: //yourBucketName/spectro-data/model-labelsBal.csv

4. შემდეგ დააჭირეთ გაგრძელება თქვენი მონაცემთა ნაკრების შესაქმნელად. შეიძლება გარკვეული დრო დასჭირდეს მის შექმნას.

ნაბიჯი 6: შექმენით თქვენი AutoML მოდელი

მას შემდეგ რაც მიიღებთ თქვენს ელ.წერილს, რომელიც შეგატყობინებთ, რომ თქვენი მონაცემთა ბაზა შეიქმნა, თქვენ მზად ხართ შექმნათ თქვენი ახალი მოდელი.

1. დააჭირეთ ღილაკს TRAIN
2. შეარჩიეთ მოდელის ტიპი: Edge და Model შეყოვნების შეფასებები: Edge TPU და დატოვეთ სხვა პარამეტრები როგორც ნაგულისხმევი თავდაპირველად, ძნელია მოგეწონოთ ექსპერიმენტები მოგვიანებით.
3. ახლა თქვენი მოდელი ივარჯიშებს, ამას გარკვეული დრო დასჭირდება და თქვენ მიიღებთ ელ.წერილს, როდესაც ის გადმოსაწერად მზად იქნება.

შენიშვნა: თუ მატარებლის ღილაკი მიუწვდომელია, შეიძლება შეგექმნათ პრობლემები თქვენს მონაცემთა ნაკრებთან. თუ თქვენ გაქვთ 10 -ზე ნაკლები თითოეული კლასიდან (ეტიკეტი), სისტემა არ მოგცემთ მოდელის მომზადების საშუალებას, ასე რომ თქვენ შეიძლება დაგჭირდეთ დამატებითი სურათების დამატება. ღირს დაათვალიეროთ Google AutoML ვიდეო, თუ დაზუსტება გჭირდებათ.

ნაბიჯი 7: შეამოწმეთ თქვენი მოდელი

მას შემდეგ რაც მიიღებთ თქვენი მოდელის დასრულების ელ.წერილს დააწკაპუნეთ ბმულზე, რათა დაუბრუნდეთ AutoML Vision API- ს.

1. ახლა თქვენ შეძლებთ ნახოთ თქვენი შედეგები და დაბნეულობის მატრიცა თქვენი მოდელისთვის.

2. შემდეგი ნაბიჯი არის თქვენი მოდელის შესამოწმებლად, გადადით 'TEST & USE' ან 'PREDICT' უცნაურად, როგორც ჩანს, არის 2 მომხმარებლის GUI, რომელთაგან ორივე მე სურათზე მაქვს გამოსახული, მაგრამ ორივე ვარიანტს აქვს ერთი და იგივე ფუნქციონირება.

3. ახლა თქვენ შეგიძლიათ ატვირთოთ სატესტო სპექტროგრამა. ერთი სპექტროგრამის შესაქმნელად შეგიძლიათ გამოიყენოთ tbt_make_one_spect.sh პროგრამა ThinkBioT Github– დან. უბრალოდ ჩააგდეთ ის საქაღალდეში იმ wav– ით, რომლის გადაკეთებაც გსურთ სპექტროგრამად, გახსენით Git Bash ფანჯარა (ან ტერმინალი) და გამოიყენეთ ქვემოთ კოდი, შეცვალეთ თქვენი ფაილის სახელი.

sh tbt_make_one_spect.sh yourWavName.wav

4. ახლა უბრალოდ ატვირთეთ სპექტროგრამა და შეამოწმეთ თქვენი შედეგი!

ნაბიჯი 8: დააინსტალირეთ თქვენი მოდელი ThinkBioT– ში

თქვენი ახალი ბრწყინვალე მოდელის გამოსაყენებლად უბრალოდ ჩააგდეთ მოდელი და txt ფაილი CModel საქაღალდეში;

pi> ThinkBioT> ClassProcess> CModel

ახლა თქვენ მზად ხართ გამოიყენოთ ThinkBioT:)

** NB ** თუ თქვენ იყენებთ თქვენს მოდელს ThinkBioT ჩარჩოს მიღმა, თქვენ უნდა შეცვალოთ თქვენი ლეიბლის დოკუმენტი, როგორც რიცხვების დამატება თითოეული სტრიქონის დასაწყისში, რადგან tflite– ის უახლესი ინტერპრეტატორების ჩამონტაჟებული „წაკითხვის ლეიბლების“ფუნქცია ჩათვლის, რომ ისინი იქ არიან. მე დავწერე პერსონალური ფუნქცია ThinkBioT ჩარჩოში classify_spect.py როგორც ნამუშევარი, რომლის ირგვლივ გისურვებთ გამოიყენოთ თქვენს კოდში:)

def ReadLabelFile (file_path):

counter = 0 ღია (file_path, 'r', encoding = 'utf-8') as f: lines = f.readlines () ret = {} for line in lines: ret [int (counter)] = line.strip () counter = counter + 1 return ret