პერსონალური ინგლისური ტრენერი - AI ხმის ასისტენტი: 15 ნაბიჯი

2024 ავტორი: John Day | [email protected]. ბოლოს შეცვლილი: 2024-01-30 10:18

ეს პროექტი დაეხმარება სტუდენტებს, რომლებიც ემზადებიან ნებისმიერი ენობრივი გამოცდისთვის, სადაც მათი გადამზადება შესაძლებელია Snips AI– სთან ურთიერთობით.

ნაბიჯი 1: ისტორია

რატომ ავაშენეთ ეს?

ჩემი პირადი გამოცდილებიდან მინახავს ბევრი ადამიანი ემზადება სხვადასხვა ენობრივი გამოცდისთვის, როგორიცაა GRE, TOEFL, IELTS. მათ სჭირდებათ ადამიანი, რომელიც დაეხმარება მათ სიტყვების დამახსოვრებასა და გაგებაში. საერთოდ, როდესაც ადამიანი ემზადება ნებისმიერი ასეთი გამოცდისთვის, მათ სჭირდებათ პიროვნება, რომ შეამოწმოს და გაასწოროს შეცდომის დაშვების შემთხვევაში. ამ გადაწყვეტილებით, ჩვენ შეგვიძლია შევამციროთ სამუშაო ძალა ხმოვანი ასისტენტის გამოყენებით.

ნაბიჯი 2: აპარატურის შექმნა

უპირველეს ყოვლისა, მინდა მადლობა გადავუხადო SNIPS- ს და SEEED- ს ამ პროექტის მხარდასაჭერად საოცარი Snips Voice Interaction Development Kit (Base Kit), მე ნამდვილად ვიგრძენი ინფორმაციული ინფორმაცია ამ დაფის გამოყენებით და შევძელი PCB- ში ინტეგრირებული ზოგიერთი კომპლექსური პროექტის მიღწევა.

შეგიძლიათ შეიძინოთ Snips Voice Interaction Base Kit 115 დოლარად და Snips Voice Interaction Satellite Kit 85 დოლარად

ნაბიჯი 3: SNIPS– ის დაწყება

დაწყებამდე, მოდით გადახედოთ რა დაგჭირდებათ.

• ჟოლო Pi 3B/B+ (რეკომენდირებულია) ან Pi 2 მოდელი B (მხარდაჭერილი).
• მიკრო USB კაბელი და მიკრო USB დენის ადაპტერი Raspberry Pi– სთვის.
• მიკრო SD ბარათი (მინიმუმ 8 GB) - დასაწყებად საჭიროა ოპერაციული სისტემა. შეგიძლიათ ჩამოტვირთოთ Raspbian Stretch და გამოიყენოთ სახელმძღვანელო Mac OS, Linux და Windows Raspberry Pi ვებსაიტზე.
• USB კლავიატურა და მაუსი და გარე HDMI მონიტორი - ჩვენ ასევე გირჩევთ გამოიყენოთ USB კლავიატურა და მაუსი, ასევე HDMI მონიტორი.
• ინტერნეტ კავშირი (Ethernet ან WiFi)

Snips Voice Interaction Base Kit

Snips Voice Interaction Development Kits აძლევს მომხმარებლებს უფლებას დაიწყოს ხმოვანი ინტერფეისების განვითარება და ადვილად ინტეგრირება Snips AI ხმის პლატფორმა ტექნიკასთან. სნაიპები მუშაობს მოწყობილობაზე, რაც იმას ნიშნავს, რომ ყველა თქვენი ხმოვანი ბრძანება და მონაცემი დამუშავებულია ადგილობრივად, ვიდრე არ იგზავნება ღრუბელში. მოწყობილობის ეს დამუშავება იწვევს სრულიად დაცულ ხაზგარეშე ხმოვან ასისტენტს, რომელიც ინახავს თქვენს პერსონალურ მონაცემებს, როგორც უნდა იყოს.

ხმის ურთიერთქმედების ბაზის ნაკრები საშუალებას გაძლევთ გაუშვათ Snips AI ხმის პლატფორმა. Raspberry Pi 3 Model B+ და ReSpeaker 2-Mics Pi HAT- ით აღჭურვილი მას შეუძლია შეასრულოს თქვენი სახლის ჭკვიანი სპიკერი. ნაკრებთან ერთად მოდის სპიკერი, Grove - Temperature & Humidity Sensor (SHT31), Grove - Relay და pegboard, რომ ჩამოკიდოთ იგი კედელზე ან შექმნათ მშვენიერი სადგამი.

მაგრამ ეს ყველაფერი არ არის! ხმოვანი ურთიერთქმედების სატელიტური ნაკრები გააფართოვებს თქვენს საბაზო სადგურს, რომ მიაღწიოს თქვენი სახლის თითოეულ ოთახს და საშუალებას მოგცემთ ინტერაქციაში იყოთ ტექნიკასთან იმის მიხედვით, თუ სად გასცემთ თქვენს ბრძანებებს!

ეს ნაკრები შეიცავს Raspberry Pi3 B+ დაფას, ReSpeaker 2 -Mics Pi HAT, Grove - Relay, Grove - Temperature & Humidity Sensor (SHT31), სპიკერი 6 Ohm 2W, MicroSD ბარათი, დენის ადაპტერი მიკრო USB კონექტორით, Grove კაბელი x 2, აკრილის ბაზა პანელი.

შეკრების საფეხურები: (შინაარსი SNIPS– დან) შემდეგი სურათი არის შეკრების ნაწილების მიმოხილვა.

აქ ასამბლეის ნაწილები დამონტაჟებულია ბაზის პანელზე.

შემდეგ, ყველა ელექტრონული ნაწილი დამონტაჟებულია დაფაზე.

ამის შემდეგ დააინსტალირეთ აკრილის დამცავი საფარი გროვ -რელეს თავზე.

ეს 2 ნაწილი გამოიყენება ნაკრების მაგიდის დასადგმელად.

დაბოლოს, თქვენ მზად ხართ Snips– ით სათამაშოდ.

ნაკრები გთავაზობთ განთავსების ორ გზას. ის შეიძლება განთავსდეს ჰორიზონტალურ ზედაპირზე, როგორც სტენდი, ან შეიძლება კედელზე ჩამოიხრჩო მავთულის ან ძაფის გამოყენებით. გთხოვთ ფრთხილად იყოთ სარელეო როდესაც ნაკრები ჩართულია რადგან სამუშაო ძაბვა იქნება მაღალი.

შენიშვნა: ჩვენ ასევე გვაქვს Snips Voice Interaction Satellite Kit, რომელსაც აქვს Raspberry Pi 3B+ Raspberry Pi ნულოვანი

ნაბიჯი 4: ინტერფეისი Snips AI– სთან (ძირითადი პროექტი)

• ჩართეთ ნაკრები ნაგულისხმევი დენის ადაპტერით ნაკრებში ან გამოიყენეთ 5V-2A DC ადაპტერი მიკრო USB კონექტორით.
• შემდეგი ნაბიჯი არის Snips ასისტენტის დაყენება Raspberry Pi– ში. თქვენი დაყენების დროის დაზოგვის მიზნით, ნაკრებში არსებული MicroSD ბარათი აანთო სისტემის სრული ფუნქციონალური გამოსახულებით, რაც ნიშნავს რომ Snips ასისტენტი მზად არის თქვენი გამომწვევი სიტყვებისათვის.
• ჩვენ მტკიცედ გირჩევთ შეისწავლოთ ეტაპობრივად ინსტალაციის სახელმძღვანელო ეწვიოთ: https://docs.snips.ai/getting-started/quick-start… და ისწავლოთ sam ინსტრუმენტი ბრძანების ხაზში.
• გააქტიურეთ ასისტენტი სიტყვით "Hey-snips" და მიჰყევით ბრძანებას:

თქვენ შეგიძლიათ ნახოთ მაგალითის ვიდეო, რომელიც წინასწარ არის დაინსტალირებული Snips Voice Interaction ბაზის ნაკრებში.

ნაბიჯი 5: ინტერფეისი Snips AI– სთან (პროექტი AI)

ასე რომ, ეს ასე მუშაობს. პირველ რიგში, ჩვენ ვიყენებთ ცხელ სიტყვას Snips– ის აღიარების დასაწყებად. მას ესმის წინადადება Snips NLU გამოყენებით და განსაზღვრავს განზრახვას. შემდეგ განზრახვის გამოყენებით, ამოიღეთ სლოტები შესაბამისად. სამოქმედო კოდით, ჩვენ ვაპროგრამებთ AI პასუხს შესაბამისი სლოტების მიხედვით.

ნაბიჯი 6: შექმენით აპლიკაცია და მიზნები

• შექმენით ასისტენტი. ჩემს შემთხვევაში, მე შევქმენი თანაშემწე სახელით JARVIS და ცხელი სიტყვით JARVIS.
• შექმენით პერსონალური აპლიკაცია ან დამწყებთათვის, გამოიყენეთ ბიბლიოთეკის პროგრამა.
• მე შევქმენი პროგრამა სახელწოდებით Words
• შექმენით ინტენსივობა და დაიწყეთ AI– ს სწავლება. ეს დიდ როლს ასრულებს თქვენი AI გამძლეობაში. მოამზადეთ იგი ყველა შესაძლო საშუალებით.
• შექმენით სლოტი სიტყვების დასადგენად. განათავსეთ სლოტი წინადადების სავარაუდო ფრაზაზე. ჩემი მაგალითისთვის მოცემული სიტყვა არის სლოტის სახელი და ის მონიშნულია ლურჯით.
• დასრულების შემდეგ, თქვენი პერსონალური ASR მზად იქნება. სცადეთ შეყვანის საშუალებით. ჩვენ შეგვიძლია ვიპოვოთ პასუხი თქვენს მარჯვნივ, ასისტენტის ქვემოთ. ეს გაძლევთ ნედლი ღირებულების, განზრახვის სახელისა და სლოტის მოპოვებას.
• განსაზღვრეთ სლოტები მეტი მაგალითით, როგორც ქვემოთ მოცემულია
• დაბოლოს, განათავსეთ თქვენი თანაშემწე, რომ განიცადოთ თქვენი პერსონალური AI.

ნაბიჯი 7: ჩაწერეთ Raspbian SD ბარათზე

Raspbian არის Linux– ის არჩეული დისტრიბუცია, რომელიც მუშაობს Raspberry Pi– ზე. ამ სახელმძღვანელოში ჩვენ ვიყენებთ Lite ვერსიას, მაგრამ Desktop ვერსია (რომელსაც გააჩნია გრაფიკული გარემო) ასევე შეიძლება გამოყენებულ იქნას.

• ჩამოტვირთეთ Etcher და დააინსტალირეთ.
• შეაერთეთ SD ბარათის წამკითხველი SD ბარათით შიგნით.
• გახსენით Etcher და შეარჩიეთ თქვენი მყარი დისკიდან Raspberry Pi.img ან.zip ფაილი, რომლის ჩაწერა გსურთ SD ბარათზე
• შეარჩიეთ SD ბარათი, რომელზეც გსურთ დაწეროთ თქვენი სურათი.
• გადახედეთ თქვენს არჩევანს და დააწკაპუნეთ 'Flash!' SD ბარათზე მონაცემების ჩაწერის დასაწყებად

შეაერთეთ მოწყობილობა თქვენს ქსელში

• ჩართეთ SSH წვდომა ცარიელი ფაილის ssh დამატებით, კვლავ მოთავსებული თქვენს SD ბარათზე ჩატვირთვის მოცულობის ძირში.
• ჩადეთ SD ბარათი Raspberry Pi- ში. ის ჩაირთვება დაახლოებით 20 წამში. ახლა თქვენ უნდა გქონდეთ SSH წვდომა თქვენს Raspberry Pi– ზე. სტანდარტულად, მისი მასპინძლის სახელი იქნება raspberrypi.local. თქვენს კომპიუტერში გახსენით ტერმინალის ფანჯარა და ჩაწერეთ შემდეგი:

ssh [email protected]

ნაგულისხმევი პაროლი არის ჟოლო

ნაბიჯი 8: დააინსტალირეთ Snips პლატფორმა

თუ ჯერ არ გაქვთ, დააინსტალირეთ Sam Command Line ინტერფეისი თქვენს კომპიუტერში. გახსენით ტერმინალის ფანჯარა და შეიყვანეთ:

sudo npm install -g snips -samor npm install -g snips -sam // Windows

იპოვეთ თქვენი Raspberry Pi ქსელში გაშვებით:

სემ მოწყობილობები

შემდეგი, დაამყარეთ კავშირი მოწყობილობასთან. თქვენ მოგეთხოვებათ მოწყობილობის მომხმარებლის სახელი და პაროლი (ნაგულისხმევი არის პი და ჟოლო, შესაბამისად):

სემ დაკავშირება

ჩვენ ახლა მზად ვართ დავაინსტალიროთ Snips პლატფორმა Raspberry Pi– ზე. შეიყვანეთ ბრძანება:

სემ ინიტი

ნაბიჯი 9: აპარატურის კონფიგურაცია

სემი იძლევა რამდენიმე ბრძანებას აპარატურის კომპონენტების ადვილად დასაყენებლად და კონფიგურაციისთვის. ამ განყოფილებაში ჩვენ შევქმნით დინამიკს და მიკროფონს. თქვენი დაყენებიდან გამომდინარე, საჭიროა გარკვეული პერსონალური კონფიგურაციის გაკეთება.

sam აუდიოს დაყენება

გამოსცადეთ სპიკერი

სპიკერის მუშაობის შესამოწმებლად, გაუშვით

სემ ტესტის სპიკერი

თუ ყველაფერი კარგად მუშაობს, თქვენ უნდა მოისმინოთ თქვენს სპიკერზე ხმა, რომელიც ამბობს რამდენიმე სიტყვას. მიკროფონის კონფიგურაცია შეგიძლიათ შეამოწმოთ თქვენი მიკროფონი მუშაობს:

სემ ტესტის მიკროფონი

დავუშვათ, რომ თქვენ გაქვთ სპიკერი, თუ ნათლად გესმით ის, რაც თქვით, შეგიძლიათ გააგრძელოთ მიკროფონის შემდგომი კონფიგურაციის გარეშე.

მას შემდეგ რაც დარწმუნდებით, რომ თქვენი აპარატურის დაყენება მუშაობს, თქვენ მზად ხართ გადადგათ შემდეგ საფეხურზე, სადაც განათავსებთ თქვენს პირველ ასისტენტს.

ნაბიჯი 10: AI მოდელის იმპორტი კონსოლიდან

მას შემდეგ რაც შექმენით თქვენი ასისტენტი წინა ნაბიჯებიდან, შედით კონსოლში ტერმინალის ფანჯრიდან გაშვებით:

sam შესვლა

თქვენ მოგეთხოვებათ შეიყვანოთ თქვენი Snips Console სერთიფიკატები.

შემდეგი, დააინსტალირეთ ასისტენტი:

sam ინსტალაციის ასისტენტი

თუ თქვენ შექმენით რამდენიმე თანაშემწე კონსოლში, მოგეთხოვებათ აირჩიოთ რომელი დააინსტალიროთ სიიდან.

ნაბიჯი 11: დამმუშავებელი და სამოქმედო კოდი

იმისათვის, რომ Raspberry Pi პასუხობდეს, ჩვენ უნდა დავწეროთ დამმუშავებლის კოდი. ეს არის კოდი, რომელიც სრულდება, როდესაც გარკვეული მოვლენა ხდება Snips პლატფორმაზე, მაგალითად, როდესაც განზრახვა გამოვლენილია.

თქვენ გაქვთ სხვადასხვა მეთოდი ჰენდლერის შესაქმნელად, რაც დამოკიდებულია ფუნქციონირებაზე.

შექმენით საქაღალდე თქვენს კომპიუტერში, რომელზეც გსურთ შეინახოთ დამმუშავებლის კოდი. ტერმინალის ფანჯრიდან გადადით ამ დირექტორიაში და შეიყვანეთ:

npm init

ეს შექმნის ფაილს, სახელად package.json, რომელიც შეიცავს თქვენი პროექტის აღწერას, დამოკიდებულებებს და სხვა. შემდეგი, დაამატეთ mqtt პაკეტის დამოკიდებულება:

npm დააინსტალირეთ mqtt -შენახვა

ახლა შექმენით ფაილი სახელწოდებით index.js და ჩასვით შემდეგი კოდი, შეცვალეთ hostname ცვლადი თქვენი Raspberry Pi მასპინძლით (თუ ის განსხვავდება ნაგულისხმევი ჟოლოსგან):

var mqtt = მოითხოვს ('mqtt');

var hostname = "mqtt: //raspberrypi.local"; var client = mqtt.connect (მასპინძლის სახელი); client.on ('დაკავშირება', ფუნქცია () {console.log ("[Snips Log] Connected MQTT broker" + hostname); client.subscribe ('hermes/#');}); client.on ('შეტყობინება', ფუნქცია (თემა, შეტყობინება) {if (topic === "hermes/asr/startListening") {onListeningStateChanged (true);} სხვა შემთხვევაში თუ (თემა === "hermes/asr/stopListening") {onListeningStateChanged (ყალბი);} სხვა შემთხვევაში (topic.match (/hermes \/hotword / /.+ \/found/g)! == null) {onHotwordDetected ()} სხვაგან თუ (topic.match (/hermes / /intent\/.+/g)! == null) {onIntentDetected (JSON.parse (შეტყობინება));}}); ფუნქცია onIntentDetected (განზრახვა) {console.log ("[Snips Log] განზრახვა აღმოჩენილია:" + JSON.stringify (განზრახვა)); } ფუნქცია onHotwordDetected () {console.log ("[Snips Log] Hotword found"); } ფუნქცია onListeningStateChanged (მოსმენა) {console.log ("[Snips Log]" + (მოსმენა? "დაწყება": "შეჩერება") + "მოსმენა"); }

გაუშვით ეს კოდი კვანძის გამოყენებით:

კვანძის ინდექსი. js

თქვენ უნდა ნახოთ Snips MQTT ბროკერთან წარმატებული კავშირის შეტყობინება. როგორც ადრე, შეასრულეთ ხმოვანი ურთიერთქმედება თქვენს Raspberry Pi– თან:

ჰეი სნიფს, როგორი ამინდია ჩენაიში

თქვენ უნდა ნახოთ ჟურნალების განახლება:

[Snips Log] დაკავშირებულია MQTT ბროკერთან mqtt: //raspberrypi.local

[Snips Log] გამოჩნდა ცხელი სიტყვა [Snips ჟურნალი] დაიწყეთ მოსმენა [Snips ჟურნალი] შეწყვიტეთ მოსმენა [Snips Log] განზრახვა გამოვლენილია: {"sessionId": "c84b5aa5-3f14-4218-975e-8872b9217933", "customData": null, "siteId ":" ნაგულისხმევი "," შეყვანა ":" როგორი ამინდია ჩენაიში "," განზრახვა ": {" purposeName ":" searchWeatherForecast "," ალბათობა ": 0.73845243}," slots ": [{" rawValue ":" chennai "," value ": {" kind ":" Custom "," value ":" Chennai "}," range ": {" start ": 44," end ": 53}," unit ":" locality ", "slotName": "forecast_locality"}]}

ნაბიჯი 12: პრობლემების მოგვარება

წაშალეთ წინა ასისტენტი თუ არის

$ sudo rm -rf/usr/share/snips/ასისტენტი/

დირექტორია ასისტენტად შესაცვლელად

cd/var/lib/snips/skills/

კლონირება რეპოს შინაარსი ადგილობრივზე

გიტ კლონი

Setup.sh სკრიპტის გასაშვებად

./ Setup.sh

ვირტუალური გარემოს გააქტიურება

წყარო venv/bin/activ

გაუშვით მოქმედების კოდი

./action-.py

პითონის სკრიპტის ნებართვის მისაცემად

chmod +x action-.py

ნაბიჯი 13: დანართი

• მე გამოვიყენე IP რეიტინგული დანართი ამ პროექტისთვის
• პირველი, მე გავაკეთე საჭირო ხვრელები დენის კაბელისა და HDMI კაბელის მიკროსქემის და სლოტების დასაყენებლად.
• შემდეგ მთელი ჟოლო Pi მოვათავსე შიგთავსში და მჭიდროდ დავახრჩო.
• სპიკერისა და მიკროფონისთვის პატარა ღიობი გავაკეთე და დაფარული მაქვს აკრილის ფურცლის პატარა ნაჭრის გამოყენებით.
• მტკიცედ დაუკავშირეთ სპიკერი ReSpeaker ქუდს.
• დაბოლოს, ყველა ხრახნი მყარად არის დამონტაჟებული და დენის კაბელი ჩასმულია სლოტის საშუალებით.
• ასე გამოიყურება AI საბოლოოდ: D

ნაბიჯი 14: AI– ს მუშაობა

თქვენ შეგიძლიათ იპოვოთ მონაცემები, რომელთა მონიტორინგი ხდება Snips-watch– ის გამოყენებით

ახლა შოუს დროა. დავიწყე მარტივი მისალმებების AI გამოყენებით. გადახედეთ მის ფუნქციონირებას.

ტრენერის AI დაპროგრამებულია შეზღუდული სიტყვებით. ეს შეიძლება გაგრძელდეს მცირედი ცვლილებებით. ეს ეხმარება სტუდენტებს დაიმახსოვრონ მნიშვნელობა უფრო სწრაფად, ვიდრე ტრადიციული მეთოდი.

კეთილი ყურადღება: ეს პროექტი მომზადებულია დაახლოებით 25 სიტყვისთვის. ის შეიძლება კიდევ უფრო გაფართოვდეს სამოქმედო კოდში მცირედი შესწორებებით.

თქვენ შეგიძლიათ ნახოთ სამოქმედო სკრიპტები ჩემს Github საცავზე, თანდართული.

Project Repo for Greetings AI-https://github.com/Rahul24-06/Greetings_Assistant-TTS

პროექტის რეპო ტრენერის AI– სთვის-https://github.com/Rahul24-06/Personal-English-Trainer---TTS

ბმული ჩემს აპლიკაციაზე:

მთელი კონფიგურაცია ღირს დაახლოებით $ 115, რომლის შეძენაც შესაძლებელია SNIPS– დან და ეს გამოსავალი ძალიან იაფი და ეფექტურია ტრადიციულ მეთოდებთან შედარებით. დაახლოებით 100 000 -ზე მეტი ტესტი ჩატარდა ინდოეთში და ეს პროდუქტი იქნება საუკეთესო დანამატი GRE– ის მსმენელთათვის.

ცალი თითი მიაწოდეთ, თუ ეს ნამდვილად დაგეხმარათ და მიჰყევით ჩემს არხს საინტერესო პროექტებისთვის.:) თუ მოგეწონებათ გააზიარეთ ეს ვიდეო. ბედნიერი ვარ, რომ გამოიწერეთ: https://console.snips.ai/store/en/skill_xBKlxnE5K… მადლობა კითხვისთვის!