სონარის, ლიდარის და კომპიუტერული ხედვის გამოყენება მიკროკონტროლერებზე მხედველობის დაქვეითების დასახმარებლად: 16 ნაბიჯი

2024 ავტორი: John Day | [email protected]. ბოლოს შეცვლილი: 2024-01-30 10:18

მე მინდა შევქმნა ინტელექტუალური "ხელჯოხი", რომელიც დაეხმარება მხედველობის დარღვევის მქონე ადამიანებს ბევრად უფრო მეტად ვიდრე არსებული გადაწყვეტილებები. ხელჯოხი შეძლებს შეატყობინოს მომხმარებელს საგნები წინ ან გვერდებზე, ხმაურის გამოყოფით გარს შემოსაზღვრული ტიპის ყურსასმენებში. ხელჯოხს ასევე ექნება პატარა კამერა და LIDAR (სინათლის გამოვლენა და დარეკვა), რათა შეძლოს ოთახში მყოფი საგნების და ადამიანების ამოცნობა და მომხმარებლის ინფორმირება ყურსასმენების გამოყენებით. უსაფრთხოების მიზნით, ყურსასმენები არ გამორიცხავენ მთელ ხმაურს, რადგან იქნება მიკროფონი, რომელსაც შეუძლია გაფილტროს ყველა არასაჭირო ხმა და შეინარჩუნოს მანქანის რქები და ხალხი საუბრობს. დაბოლოს, სისტემას ექნება GPS, რათა მან შეძლოს მითითებების მიცემა და აჩვენოს მომხმარებელს სად წავიდეს.

გთხოვთ ხმა მომცეთ მიკროკონტროლერისა და გარე ფიტნესის კონკურსებში!

ნაბიჯი 1: პროექტის მიმოხილვა

უსინათლოთა მსოფლიო წვდომის თანახმად, ფიზიკური მოძრაობა ბრმა ადამიანებისთვის ერთ -ერთი ყველაზე დიდი გამოწვევაა. ხალხმრავალ ქუჩაზე მოგზაურობა ან უბრალოდ სიარული შეიძლება ძალიან რთული იყოს. ტრადიციულად ერთადერთი გამოსავალი იყო საყოველთაოდ ცნობილი "თეთრი ხელჯოხი", რომელიც ძირითადად გამოიყენება მომხმარებლის სიახლოვეს დაბრკოლებების დარტყმისას შემოგარენის შემოწმების მიზნით. უკეთესი გამოსავალი იქნება მოწყობილობა, რომელსაც შეუძლია შეცვალოს მხედველობითი ასისტენტი დაბრკოლებების ადგილმდებარეობის შესახებ ინფორმაციის მიწოდებით, რათა ბრმა გაურკვეველ გარემოში გავიდეს და თავი დაცულად იგრძნოს. ამ პროექტის განმავლობაში შემუშავდა ბატარეაზე მომუშავე პატარა მოწყობილობა, რომელიც აკმაყოფილებს ამ კრიტერიუმებს. მოწყობილობას შეუძლია ობიექტის ზომის და ადგილმდებარეობის დადგენა სენსორების საშუალებით, რომლებიც ზომავს ობიექტების პოზიციას მომხმარებელთან მიმართებაში, გადასცემს ამ ინფორმაციას მიკროკონტროლერს და შემდეგ გადააქცევს მას აუდიოზე მომხმარებლისთვის ინფორმაციის მიწოდებისთვის. მოწყობილობა შეიქმნა ხელმისაწვდომი კომერციული LIDAR (სინათლის გამოვლენა და რეიტინგი), SONAR (ხმის ნავიგაცია და რეიტინგი) და კომპიუტერული ხედვის ტექნოლოგიების გამოყენებით, რომლებიც დაკავშირებულია მიკროკონტროლებთან და დაპროგრამებულია ისე, რომ უზრუნველყოს საჭირო აუდიო ინფორმაცია ყურსასმენების ან ყურსასმენების გამოყენებით. გამოვლენის ტექნოლოგია ჩადებულია "თეთრ ხელჯოხში", რათა სხვებს მიუთითოს მომხმარებლის მდგომარეობა და უზრუნველყოს დამატებითი უსაფრთხოება.

ნაბიჯი 2: ფონური კვლევა

2017 წელს ჯანდაცვის მსოფლიო ორგანიზაციამ განაცხადა, რომ მსოფლიოში იყო 285 მილიონი მხედველობის დაქვეითებული ადამიანი, აქედან 39 მილიონი სრულიად ბრმაა. ადამიანების უმეტესობა არ ფიქრობს იმ საკითხებზე, რომლებსაც მხედველობადაქვეითებული ადამიანები ყოველდღიურად აწყდებიან. უსინათლოთა მსოფლიო წვდომის თანახმად, ფიზიკური მოძრაობა ბრმა ადამიანებისთვის ერთ -ერთი ყველაზე დიდი გამოწვევაა. ხალხმრავალ ქუჩაზე მოგზაურობა ან უბრალოდ სიარული შეიძლება ძალიან რთული იყოს. ამის გამო, ბევრ ადამიანს, ვისაც აქვს მხედველობა დაქვეითებული, ურჩევნია მოიყვანოს მხედველობითი მეგობარი ან ოჯახის წევრი, რათა დაეხმაროს ახალ გარემოში ნავიგაციას. ტრადიციულად ერთადერთი გამოსავალი იყო საყოველთაოდ ცნობილი "თეთრი ხელჯოხი", რომელიც ძირითადად გამოიყენება მომხმარებლის სიახლოვეს დაბრკოლებების დარტყმისას შემოგარენის სკანირებისთვის. უკეთესი გამოსავალი იქნება მოწყობილობა, რომელსაც შეუძლია შეცვალოს მხედველობითი ასისტენტი დაბრკოლებების ადგილმდებარეობის შესახებ ინფორმაციის მიწოდებით, რათა ბრმა გაურკვეველ გარემოში გავიდეს და თავი დაცულად იგრძნოს. NavCog, თანამშრომლობა IBM- სა და კარნეგი მელონის უნივერსიტეტს შორის, ცდილობდა პრობლემის მოგვარებას სისტემის შექმნით, რომელიც იყენებს Bluetooth შუქურებს და სმარტფონებს სახელმძღვანელოს დასახმარებლად. თუმცა, გამოსავალი რთული იყო და აღმოჩნდა, რომ ძალიან ძვირი იყო ფართომასშტაბიანი განხორციელებისთვის. ჩემი გამოსავალი ეხება ამას გარე მოწყობილობების ნებისმიერი საჭიროების აღმოფხვრით და ხმის გამოყენებით, რომელიც მომხმარებელს უხელმძღვანელებს მთელი დღის განმავლობაში (სურათი 3). "თეთრ ხელჯოხში" ჩადებული ტექნოლოგიის უპირატესობა ის არის, რომ ის დანარჩენ სამყაროს ასახავს მომხმარებლის მდგომარეობას, რაც იწვევს ცვლილებებს მიმდებარე ადამიანების ქცევაში.

ნაბიჯი 3: დიზაინის მოთხოვნები

არსებული ტექნოლოგიების შესწავლის შემდეგ, მე განვიხილე ხედვის პროფესიონალებთან შესაძლო გადაწყვეტილებები საუკეთესო მიდგომის შესახებ, რომელიც დაეხმარება მხედველობადაქვეითებულებს ნავიგაციაში თავიანთ გარემოში. ქვემოთ მოყვანილი ცხრილი ჩამოთვლის ყველაზე მნიშვნელოვან მახასიათებლებს, რომლებიც საჭიროა ვინმესთვის ჩემს მოწყობილობაზე გადასვლისთვის.

თვისება - აღწერა:

• გამოთვლა - სისტემამ უნდა უზრუნველყოს მომხმარებელსა და სენსორებს შორის გაცვლილი ინფორმაციის სწრაფი დამუშავება. მაგალითად, სისტემას უნდა შეეძლოს მომხმარებლის ინფორმირება წინა დაბრკოლებების შესახებ, რომლებიც მინიმუმ 2 მ მანძილზეა.
• დაფარვა - სისტემამ უნდა უზრუნველყოს თავისი მომსახურება შენობაში და გარეთ, მხედველობის დაქვეითებული ადამიანების ცხოვრების ხარისხის გასაუმჯობესებლად.
• დრო - სისტემა უნდა მუშაობდეს დღისითაც და ღამითაც.
• დიაპაზონი - დიაპაზონი არის მანძილი მომხმარებელსა და სისტემის მიერ გამოვლენილ ობიექტს შორის. იდეალური მინიმალური დიაპაზონი არის 0.5 მ, ხოლო მაქსიმალური დიაპაზონი უნდა იყოს 5 მ -ზე მეტი. შემდგომი დისტანციები იქნება კიდევ უკეთესი, მაგრამ უფრო რთული გამოთვლა.
• ობიექტის ტიპი - სისტემამ უნდა აღმოაჩინოს ობიექტების უეცარი გამოჩენა. სისტემას უნდა შეეძლოს განსხვავება მოძრავ ობიექტებსა და სტატიკურ ობიექტებს შორის.

ნაბიჯი 4: საინჟინრო დიზაინი და აღჭურვილობის შერჩევა

მრავალი განსხვავებული კომპონენტის დათვალიერების შემდეგ, მე გადავწყვიტე ქვემოთ მოცემული სხვადასხვა კატეგორიიდან შერჩეული ნაწილები.

შერჩეული ნაწილების ფასი:

• ზუნგლის პანტერა: $ 149.99
• LiDAR Lite V3: $ 149.99
• LV-MaxSonar-EZ1: $ 29.95
• ულტრაბგერითი სენსორი - HC -SR04: $ 3.95
• ჟოლო Pi 3: $ 39.95
• არდუინო: $ 24.95
• კინექტი: $ 32.44
• Floureon 11.1v 3s 1500mAh: $ 19.99
• LM2596HV: $ 9.64

ნაბიჯი 5: აღჭურვილობის შერჩევა: ურთიერთქმედების მეთოდი

მე გადავწყვიტე გამოვიყენო ხმის კონტროლი, როგორც მოწყობილობასთან ურთიერთქმედების მეთოდი, რადგან ხელჯოხზე მრავალი ღილაკის ქონა შეიძლება იყოს რთული მხედველობის დაქვეითებული ადამიანისთვის, განსაკუთრებით იმ შემთხვევაში, თუ ზოგიერთი ფუნქცია მოითხოვს ღილაკების კომბინაციას. ხმოვანი კონტროლით, მომხმარებელს შეუძლია გამოიყენოს წინასწარ მითითებული ხელჯოხი კომუნიკაციისთვის, რაც ამცირებს პოტენციურ შეცდომებს.

მოწყობილობა: დადებითი --- უარყოფითი მხარეები:

• ღილაკები: არ არსებობს ბრძანების შეცდომა მარჯვენა ღილაკზე დაჭერისას --- შეიძლება რთული იყოს სწორი ღილაკების დაჭერის უზრუნველყოფა
• ხმის კონტროლი: ადვილია, რადგან მომხმარებელს შეუძლია გამოიყენოს წინასწარ მითითებული ბრძანებები --- არასწორი გამოთქმა შეიძლება გამოიწვიოს შეცდომებს

ნაბიჯი 6: აღჭურვილობის შერჩევა: მიკროკონტროლერი

მოწყობილობამ გამოიყენა Raspberry Pi მისი დაბალი ღირებულებისა და საკმარისი დამუშავების სიმძლავრის გამო სიღრმის რუქის გამოსათვლელად. Intel Joule იქნებოდა სასურველი ვარიანტი, მაგრამ მისი ფასი გააორმაგებდა სისტემის ღირებულებას, რაც არ იქნებოდა იდეალური ეს მოწყობილობა, რომელიც შემუშავებულია მომხმარებლებისთვის დაბალი ღირებულების ვარიანტის უზრუნველსაყოფად. არდუინო გამოიყენეს სისტემაში, რადგან მას შეუძლია ადვილად მიიღოს ინფორმაცია სენსორებისგან. BeagleBone და Intel Edison არ იქნა გამოყენებული დაბალი ფასისა და შესრულების თანაფარდობის გამო, რაც ცუდია ამ დაბალი ღირებულების სისტემისთვის.

მიკროკონტროლერი: დადებითი --- უარყოფითი მხარეები:

• Raspberry Pi: აქვს საკმარისი დამუშავების ძალა დაბრკოლებების საპოვნელად და აქვს ინტეგრირებული WiFi/Bluetooth --- სენსორებიდან მონაცემების მიღების ბევრი ვარიანტი არ არის
• არდუინო: მარტივად მიიღეთ მონაცემები მცირე სენსორებისგან. ანუ LIDAR, ულტრაბგერითი, SONAR და სხვა --- არ არის საკმარისი დამუშავების ძალა დაბრკოლებების მოსაძებნად
• Intel Edison: შეუძლია სწრაფად დაამუშაოს დაბრკოლებები სწრაფი პროცესორით --- მოითხოვს სისტემის შემდგომი ფუნქციონირებისთვის დეველოპერის დამატებით ნაწილებს
• Intel Joule: სამომხმარებლო ბაზარზე არსებული მიკროკონტროლერების დამუშავების ორმაგი სიჩქარე დღემდე-ძალიან მაღალი ღირებულება ამ სისტემისთვის და ძნელია GPIO– სთან ურთიერთობა სენსორული ურთიერთქმედებისათვის
• BeagleBone Black: კომპაქტური და თავსებადია სენსორებთან, რომლებიც გამოიყენება პროექტში ზოგადი დანიშნულების შეყვანის გამომუშავების (GPIO) გამოყენებით --- არასაკმარისი დამუშავების ძალა საგნების ეფექტურად მოსაძებნად

ნაბიჯი 7: აღჭურვილობის შერჩევა: სენსორები

რამდენიმე სენსორის კომბინაცია გამოიყენება ადგილმდებარეობის მაღალი სიზუსტის მისაღებად. Kinect არის მთავარი სენსორი იმ ფართობის გამო, რომელსაც ერთდროულად შეუძლია დაბრკოლებების სკანირება. LIDAR, რომელიც ნიშნავს LIght Detection and Ranging, არის დისტანციური ზონდირების მეთოდი, რომელიც იყენებს სინათლეს იმპულსური ლაზერის სახით, რათა გაზომოს მანძილი იქიდან, სადაც სენსორი არის სწრაფად ობიექტებამდე; ეს სენსორი გამოიყენება იმიტომ, რომ მას შეუძლია თვალყური ადევნოს ტერიტორიას 40 მეტრამდე (მ) დაშორებით და რადგან მას შეუძლია სხვადასხვა კუთხით სკანირება, მას შეუძლია დაადგინოს თუ რაიმე საფეხური მაღლა ან ქვევით მიდის. SOON Navigation And Ranging (SONAR) და ულტრაბგერითი სენსორები გამოიყენება სარეზერვო თვალთვალისთვის იმ შემთხვევაში, თუ Kinect გამოტოვებს ბოძს ან მიწას, რომელიც საფრთხეს შეუქმნის მომხმარებელს. თავისუფლების 9 გრადუსიანი სენსორი გამოიყენება იმის თვალთვალისთვის, თუ რა მიმართულებით დგას მომხმარებელი, რათა მოწყობილობამ შეინახოს ინფორმაცია უფრო მაღალი სიზუსტით მომდევნო დროს, როდესაც ადამიანი ერთსა და იმავე ადგილას დადის.

სენსორები: დადებითი --- უარყოფითი მხარეები:

• Kinect V1: შეუძლია თვალყური ადევნოს 3D ობიექტებს --- მხოლოდ ერთი კამერით, რომ აღმოაჩინოს გარემო
• Kinect V2: აქვს 3 ინფრაწითელი კამერა და წითელი, მწვანე, ლურჯი, სიღრმის (RGB-D) კამერა მაღალი სიზუსტით 3D ობიექტის გამოვლენისთვის --- შეიძლება გაცხელდეს და შეიძლება დასჭირდეს გაგრილების ვენტილატორი და უფრო დიდია ვიდრე სხვა სენსორები
• LIDAR: სხივი, რომელსაც შეუძლია თვალყური ადევნოს ადგილებს 40 მ მანძილზე --- უნდა იყოს პოზიციონირებული ობიექტისკენ და შეუძლია მხოლოდ ამ მიმართულებით იყუროს
• SONAR: სხივი, რომელსაც შეუძლია თვალყური ადევნოს 5 მ მანძილზე, მაგრამ შორს--ბუმბულის მსგავსი პატარა საგნებმა შეიძლება გამოიწვიოს სენსორი
• ულტრაბგერითი: დიაპაზონი 3 მ-მდეა და ძალიან იაფია --- მანძილი ზოგჯერ შეიძლება იყოს არაზუსტი
• თავისუფლების 9 გრადუსიანი სენსორი: კარგია მომხმარებლის ორიენტაციისა და სიჩქარის გამოსაცნობად --- თუ რამე ხელს უშლის სენსორებს, მანძილის გამოთვლები შეიძლება არასწორად გამოითვალოს

ნაბიჯი 8: აღჭურვილობის შერჩევა: პროგრამული უზრუნველყოფა

Kinect V1 სენსორით აგებული პირველი რამდენიმე პროტოტიპის არჩეული პროგრამა იყო Freenect, მაგრამ ის არ იყო ძალიან ზუსტი. როდესაც გადადიხართ Kinect V2 და Freenect2– ზე, თვალთვალის შედეგები მნიშვნელოვნად გაუმჯობესდა თვალთვალის გაუმჯობესების გამო, რადგან V2– ს აქვს HD კამერა და 3 ინფრაწითელი კამერა, Kinect V1– ის ერთ კამერას შორის განსხვავებით. როდესაც მე ვიყენებდი OpenNi2– ს Kinect V1– ით, ფუნქციები შეზღუდული იყო და მე ვერ ვაკონტროლებდი მოწყობილობის ზოგიერთ ფუნქციას.

პროგრამული უზრუნველყოფა: დადებითი --- უარყოფითი მხარეები:

• Freenect: აქვს კონტროლის დაბალი დონე ყველაფრის გასაკონტროლებლად --- მხოლოდ მხარს უჭერს Kinect V1
• OpenNi2: მარტივად შეუძლია შექმნას წერტილოვანი ღრუბლოვანი მონაცემები Kinect– ის საინფორმაციო ნაკადიდან --- მხოლოდ მხარს უჭერს Kinect V1- ს და არ გააჩნია დაბალი დონის კონტროლის მხარდაჭერა
• Freenect2: აქვს ქვედა დონის კონტროლი სენსორული ზოლისთვის --- მუშაობს მხოლოდ Kinect V2– ისთვის
• ROS: ოპერაციული სისტემა იდეალურია კამერის ფუნქციების დასაპროგრამებლად --- უნდა იყოს დაინსტალირებული სწრაფ SD ბარათზე, რომ პროგრამული უზრუნველყოფა იმუშაოს

ნაბიჯი 9: აღჭურვილობის შერჩევა: სხვა ნაწილები

ლითიუმ -იონური ბატარეები შეირჩა მსუბუქი, მაღალი სიმძლავრის და დატენვის გამო. ლითიუმის იონური ბატარეის 18650 ვარიანტს აქვს ცილინდრული ფორმა და შესანიშნავად ჯდება ხელჯოხის პროტოტიპში. პირველი პროტოტიპის ხელჯოხი დამზადებულია PVC მილისგან, რადგან ის ღრუა და ამცირებს ხელჯოხის წონას.

ნაბიჯი 10: სისტემის განვითარება: აპარატურის შექმნა ნაწილი 1

პირველ რიგში, ჩვენ უნდა დავშალოთ Kinect, რათა ის იყოს უფრო მსუბუქი და ისე, რომ იგი ჯდება ხელჯოხის შიგნით. მე დავიწყე Kinect– დან ყველა გარე გარსის ამოღებით, რადგან გამოყენებული პლასტიკური იწონის ბევრს. შემდეგ მომიწია კაბელის გაჭრა ისე, რომ საფუძველი ამოღებულიყო. მე ავიღე მავთულები სურათზე ნაჩვენები კონექტორიდან და შევაერთე USB კაბელზე სიგნალის მავთულხლართებით და დანარჩენი ორი კავშირი იყო 12 ვ შეყვანის სიმძლავრისთვის. ვინაიდან მინდოდა, რომ ლერწმის შიგნით არსებული გულშემატკივარი მუშაობდეს სრული სიმძლავრით, რათა გაგრილებოდა ყველა სხვა კომპონენტი, მე მოვწყვიტე კონექტორი ვენტილატორს Kinect– დან და დავუკავშირე 5V Raspberry Pi– დან. მე ასევე გავაკეთე პატარა ადაპტერი LiDAR მავთულისთვის, რათა მას შეეძლოს პირდაპირ Raspberry Pi- სთან დაკავშირება სხვა სისტემების გარეშე.

მე შემთხვევით გავყიდე თეთრი მავთული შავზე, ასე რომ არ შეხედოთ სურათებს გაყვანილობის დიაგრამებისთვის

ნაბიჯი 11: სისტემის განვითარება: აპარატურის შექმნა ნაწილი 2

მე შევქმენი მარეგულირებელი ნაჭერი, რათა უზრუნველყოს ენერგია ყველა მოწყობილობაზე, რომელსაც სჭირდება 5V, როგორიცაა Raspberry Pi. მე მოვაწესრიგე რეგულატორი გამომავალზე მეტრის დაყენებით და რეზისტორის მორგებით ისე, რომ რეგულატორი უზრუნველყოფდა 5.05 ვ. მე 5V– ზე ოდნავ მაღლა დავაყენე, რადგან დროთა განმავლობაში, ბატარეის ძაბვა მცირდება და ოდნავ მოქმედებს გამომავალ ძაბვაზე. მე ასევე შევქმენი ადაპტერი, რომლის საშუალებითაც შემიძლია დავამუშაო 5 მოწყობილობა, რომელიც მოითხოვს ბატარეის 12 ვოლტს.

ნაბიჯი 12: სისტემის განვითარება: სისტემის დაპროგრამება ნაწილი 1

ამ სისტემის ერთ -ერთი ყველაზე რთული ნაწილი არის პროგრამირება. როდესაც პირველად მივიღე Kinect– ის თამაში, დავაინსტალირე პროგრამა სახელწოდებით RTAB Map, რომელიც იღებს მონაცემების ნაკადს Kinect– დან და გარდაქმნის მას წერტილოვან ღრუბელში. წერტილოვან ღრუბელთან ერთად მან შექმნა 3D სურათი, რომლის ბრუნვაც შესაძლებელია, რათა ნახოთ ყველა ობიექტის სიღრმე. მას შემდეგ რაც ცოტა ხნით ვითამაშე და ყველა პარამეტრი შევარჩიე, მე გადავწყვიტე დამეყენებინა რაიმე პროგრამული უზრუნველყოფა Raspberry Pi– ზე, რაც საშუალებას მომცემდა მენახა Kinect– ის მონაცემების ნაკადი. ბოლო ორი სურათი ზემოთ გვიჩვენებს, რისი წარმოება შეუძლია Raspberry Pi- ს წამში დაახლოებით 15-20 კადრი.