ავტონომიური თვითმფრინავი ინფრაწითელი კამერით პირველი რეაგირების დასახმარებლად: 7 ნაბიჯი

2024 ავტორი: John Day | [email protected]. ბოლოს შეცვლილი: 2024-01-30 10:17

ჯანდაცვის მსოფლიო ორგანიზაციის ანგარიშის თანახმად, ყოველწლიურად სტიქიური უბედურებები კლავს დაახლოებით 90,000 ადამიანს და აზიანებს 160 მილიონზე მეტ ადამიანს მთელს მსოფლიოში. სტიქიური უბედურებები მოიცავს მიწისძვრებს, ცუნამს, ვულკანურ ამოფრქვევებს, მეწყერს, ქარიშხლებს, წყალდიდობას, ტყის ხანძრებს, სიცხეს და გვალვებს. დრო უმნიშვნელოვანესია, რადგან გადარჩენის შანსი იკლებს ყოველ წუთს. პირველადი რეაგირების მქონე პირებს შეიძლება ჰქონდეთ პრობლემები გადარჩენილთა სახლებში, რომლებიც დაზიანებულია და საფრთხეს უქმნის მათ სიცოცხლეს მათი ძებნისას. სისტემის არსებობა, რომელსაც შეუძლია ადამიანების დისტანციურად განთავსება, მნიშვნელოვნად გაზრდის იმ სიჩქარეს, რომლითაც პირველადი რეაგირება მოახერხებს მათ შენობებიდან ევაკუაციას. სხვა სისტემების შესწავლის შემდეგ აღმოვაჩინე, რომ ზოგიერთმა კომპანიამ შექმნა რობოტები, რომლებიც სახმელეთოა ან შექმნეს თვითმფრინავები, რომლებსაც შეუძლიათ თვალყური ადევნონ ადამიანებს, მაგრამ ფუნქციონირებენ მხოლოდ შენობების გარეთ. სიღრმის კამერების კომბინაცია სპეციალურ ინფრაწითელ კამერებთან ერთად, საშუალებას მოგცემთ თვალყური ადევნოთ შიდა ზონას და გამოავლინოთ ტემპერატურის ცვლილებები, რომლებიც წარმოადგენენ ცეცხლს, ადამიანებს და ცხოველებს. უპილოტო საფრენ აპარატზე (UAV) პერსონალური ალგორითმის მქონე სენსორების დანერგვით შესაძლებელი გახდება სახლების ავტონომიური შემოწმება და ადამიანებისა და ცხოველების ადგილმდებარეობის იდენტიფიცირება, რაც შეიძლება სწრაფად გადარჩენის მიზნით.

გთხოვთ ხმა მომცეთ ოპტიკის კონკურსში!

ნაბიჯი 1: დიზაინის მოთხოვნები

არსებული ტექნოლოგიების შესწავლის შემდეგ, მე განვიხილე შესაძლო გადაწყვეტილებები მანქანათმცოდნეობის ექსპერტებთან და პირველ რეაგირებელთან, რათა ვიპოვო საუკეთესო მეთოდი სახიფათო უბნებში გადარჩენილთა გამოსავლენად. ქვემოთ მოყვანილი ინფორმაცია ჩამოთვლის სისტემისთვის საჭირო ყველაზე მნიშვნელოვან მახასიათებლებს და დიზაინის ელემენტებს.

• ხედვის დამუშავება - სისტემამ უნდა უზრუნველყოს სწრაფი დამუშავების სიჩქარე სენსორებსა და ხელოვნურ ინტელექტს (AI) შორის გაცვლითი ინფორმაციისათვის. მაგალითად, სისტემას უნდა შეეძლოს კედლების და დაბრკოლებების გამოვლენა მათ თავიდან ასაცილებლად, ასევე საფრთხის ქვეშ მყოფი ადამიანების პოვნაში.
• ავტონომიური - სისტემას უნდა შეეძლოს ფუნქციონირება მომხმარებლის ან ოპერატორის შეყვანის გარეშე. უპილოტო საფრენი აპარატების ტექნოლოგიის მინიმალური გამოცდილების მქონე პერსონალს უნდა შეეძლოს ერთი ან რამდენიმე ღილაკის დაჭერა, რომ სისტემამ თავისთავად დაიწყოს სკანირება.
• დიაპაზონი - დიაპაზონი არის მანძილი სისტემასა და ყველა სხვა ობიექტს შორის სიახლოვეს. სისტემას უნდა შეეძლოს დერეფნების და შესასვლელების გამოვლენა სულ მცირე 5 მეტრიდან. იდეალური მინიმალური დიაპაზონი არის 0.25 მ ისე, რომ ახლო ობიექტები აღმოაჩინონ. რაც უფრო დიდია გამოვლენის დიაპაზონი, მით უფრო მოკლეა გადარჩენილთა გამოვლენის დრო.
• ნავიგაციისა და გამოვლენის სიზუსტე - სისტემას უნდა შეეძლოს ზუსტად იპოვოს ყველა შესასვლელი და არ დაარტყას არცერთ ობიექტს, ასევე ობიექტების უეცარი გამოჩენის აღმოჩენისას. სისტემას უნდა შეეძლოს სხვადასხვა სენსორების საშუალებით იპოვოს განსხვავება ადამიანებსა და არაცოცხალ ობიექტებს შორის.
• ოპერაციის ხანგრძლივობა - სისტემას უნდა შეეძლოს 10 წუთი ან მეტი ხანგრძლივობა იმის მიხედვით, თუ რამდენი ოთახის დასჭირდება სკანირება.
• სიჩქარე - მას უნდა შეეძლოს მთელი შენობის სკანირება 10 წუთზე ნაკლებ დროში.

ნაბიჯი 2: აღჭურვილობის შერჩევა: მობილობის მეთოდი

კვადკორპტერი დისტანციური მართვის მანქანას შეურჩიეს, რადგან მიუხედავად იმისა, რომ კვადროკუტერი მყიფეა, დაბლოკვების თავიდან ასაცილებლად უფრო ადვილია კონტროლი და სიმაღლის შეცვლა. ოთხკუთხედს შეუძლია დაიჭიროს ყველა სენსორი და მოახდინოს მათი სტაბილიზაცია, რათა უფრო ზუსტი იყოს სხვადასხვა ოთახში გადაადგილებისას. პროპელერები დამზადებულია ნახშირბადის ბოჭკოსგან, რომლებიც სითბოს მდგრადია. სენსორები პირდაპირ დაშორებულია კედლებს, რათა თავიდან აიცილონ უბედური შემთხვევები.

• დისტანციური მართვის სახმელეთო მანქანა

  • დადებითი - შეუძლია სწრაფად იმოძრაოს დაცემის გარეშე და არ ახდენს გავლენას ტემპერატურაზე
  • მინუსები - მანქანა აყენებს სენსორებს მიწაზე და ფარავს ერთდროულად ნაკლებ ადგილს და შეიძლება დაბლოკილი იყოს დაბრკოლებებით

• ოთხკუთხედი

  • დადებითი - ააქვს ჰაერში სენსორები, რომ მიიღოთ 360 ხედი გარემოთი
  • მინუსები - თუ ის კედელში გადადის, ის შეიძლება დაეცეს და არ გამოჯანმრთელდეს

ნაბიჯი 3: აღჭურვილობის შერჩევა: მიკროკონტროლერები

მიკროკონტროლერების ძირითადი ორი მოთხოვნა არის მცირე ზომის, რათა შეამციროს დატვირთვა ოთხკუთხედზე და დააჩქაროს ინფორმაციის შეყვანის სწრაფად დამუშავება. Rock64- ისა და DJI Naza- ს კომბინაცია არის მიკროკონტროლერების სრულყოფილი კომბინაცია, რადგან Rock64- ს აქვს საკმარისი დამუშავების ძალა ადამიანების სწრაფად აღმოსაჩენად და კვადროკოპტერის კედლებისა და დაბრკოლებების შეჯახების თავიდან ასაცილებლად. DJI Naza მას კარგად შეაქვს ყველა სტაბილიზაციისა და ძრავის კონტროლის გაკეთებით, რისი გაკეთებაც Rock64– ს არ შეუძლია. მიკროკონტროლერები ურთიერთობენ სერიული პორტის საშუალებით და საჭიროების შემთხვევაში იძლევა მომხმარებლის კონტროლს. Raspberry Pi იქნებოდა კარგი ალტერნატივა, მაგრამ რადგან Rock64– ს ჰქონდა უკეთესი პროცესორი და უკეთესი კავშირი შემდეგ ცხრილში ჩამოთვლილ სენსორებთან, Pi არ იყო არჩეული. Intel Edison და Pixhawk არ შეირჩა მხარდაჭერისა და კავშირის არარსებობის გამო.

• ჟოლო პი

  • დადებითი - შეუძლია აღმოაჩინოს კედლები და ფიქსირებული საგნები
  • მინუსები - იბრძვის ყველა სენსორის მონაცემების დასადგენად, ამიტომ შესასვლელებს საკმარისად სწრაფად ვერ ხედავს. არ შეუძლია გამოაქვეყნოს საავტომობილო სიგნალები და არ გააჩნია კვადროკოპტერის სტაბილიზაციის სენსორები

• როკი 64

  • დადებითი - შეუძლია კედლებისა და შესასვლელების გამოვლენა მცირე დაყოვნებით.
  • მინუსები - ასევე შეუძლია მართოს სისტემა მთელ სახლში ისე, რომ არაფერი შეექმნას ყველა სენსორის გამოყენებით. არ შეუძლია სიგნალების გაგზავნა საკმარისად სწრაფად, რომ გააკონტროლოს ძრავის სიჩქარე და არ გააჩნია სტაბილიზაციის სენსორები ოთხკუთხედისთვის

• ინტელ ედისონი

  • დადებითი - შეუძლია კედლებისა და შესასვლელების გამოვლენა გარკვეული ჩამორჩენით
  • მინუსები - ძველი ტექნოლოგია, ბევრ სენსორს დასჭირდება ახალი ბიბლიოთეკა, რომლის შექმნასაც დიდი დრო სჭირდება

• დიჯეი ნაზა

  • დადებითი - აქვს ინტეგრირებული გიროსკოპი, ამაჩქარებელი და მაგნიტომეტრი, რაც საშუალებას აძლევს კვადკორპტოპს ჰაერში სტაბილური იყოს ძრავის სიჩქარის მიკრო რეგულირებით.
  • მინუსები - შეუძლებელია რაიმე სახის ხედვის დამუშავება

• პიქშავკი

  • დადებითი - კომპაქტური და თავსებადია პროექტში გამოყენებული სენსორებით ზოგადი დანიშნულების შეყვანის გამომუშავების (GPIO) გამოყენებით
  • მინუსები - შეუძლებელია რაიმე სახის ხედვის დამუშავება

ნაბიჯი 4: აღჭურვილობის შერჩევა: სენსორები

რამდენიმე სენსორის კომბინაცია გამოიყენება იმისათვის, რომ მიიღოთ ყველა საჭირო ინფორმაცია სახიფათო ადგილებში ადამიანების მოსაძებნად. შერჩეული ორი ძირითადი სენსორი მოიცავს სტერეო ინფრაწითელ კამერას SOON Navigation And Ranging (SONAR) - თან ერთად. გარკვეული ტესტირების შემდეგ, მე გადავწყვიტე გამოვიყენო Realsense D435 კამერა, რადგან ის პატარაა და შეუძლია ზუსტად აკონტროლოს მანძილი 20 მეტრამდე მანძილზე. ის მუშაობს 90 კადრი წამში, რაც საშუალებას იძლევა მრავალი გაზომვის გატარება გადაწყვეტილების მიღებამდე იმის შესახებ, თუ სად არის ობიექტები და რა მიმართულებით უნდა მიუთითოს კვადკორპტერი. SONAR სენსორები მოთავსებულია სისტემის ზედა და ქვედა ნაწილში, რათა ოთხკუთხედმა იცოდეს რამდენად მაღალი ან დაბალია დაშვებული ზედაპირზე კონტაქტამდე. ასევე არის წინ განლაგებული, რომელიც საშუალებას აძლევს სისტემას აღმოაჩინოს ისეთი საგნები, როგორიცაა შუშა, რომელსაც სტერეო ინფრაწითელი კამერის სენსორი ვერ აღმოაჩენს. ადამიანები და ცხოველები გამოვლენილია მოძრაობის და საგნის ამოცნობის ალგორითმების გამოყენებით. FLIR კამერა განხორციელდება, რათა დაეხმაროს სტერეო ინფრაწითელ კამერას თვალყური ადევნოს რა არის ცოცხალი და რა არ გაზრდის სკანირების ეფექტურობას არახელსაყრელ პირობებში.

• Kinect V1

  • დადებითი - შეუძლია თვალყური ადევნოს 3D ობიექტებს ადვილად 6 მეტრის მანძილზე
  • მინუსები -აქვს მხოლოდ 1 ინფრაწითელი სენსორი და მეტისმეტად მძიმეა კვადკოპტერისთვის

• Realsense D435

  • დადებითი - აქვს 2 ინფრაწითელი კამერა და წითელი, მწვანე, ლურჯი, სიღრმის (RGB -D) კამერა მაღალი სიზუსტით 3D ობიექტების გამოვლენისთვის 25 მეტრამდე მანძილზე. ეს არის 6 სმ სიგანე, რაც საშუალებას იძლევა ადვილად მოერგოს კვადროკუპტერს
  • მინუსები - შეიძლება გაცხელდეს და შეიძლება დაგჭირდეს გაგრილების ვენტილატორი

• ლიდარი

  • დადებითი - სხივი, რომელსაც შეუძლია თვალყური ადევნოს 40 მეტრის მანძილზე მდებარე ადგილებს
  • მინუსები - გარემოს სიცხემ შეიძლება გავლენა მოახდინოს გაზომვის სიზუსტეზე

• სონარი

  • დადებითი - სხივი, რომელსაც შეუძლია თვალყური ადევნოს 15 მეტრს, მაგრამ შეუძლია აღმოაჩინოს გამჭვირვალე საგნები, როგორიცაა მინა და აკრილი
  • მინუსები - მხოლოდ წერტილებია მხედველობის ერთ ხაზზე, მაგრამ შესაძლებელია კვადროკოპტერის გადატანა სკანირების არეზე

• ულტრაბგერითი

  • დადებითი - აქვს დიაპაზონი 3 მ -მდე და ძალიან იაფია
  • მინუსები - მხოლოდ წერტილები ერთი მხედველობის არეში და შეიძლება ძალიან შორს იყოს დისტანციური ზონდის მიღმა

• FLIR კამერა

  • დადებითი - შეუძლია კვამლის საშუალებით სიღრმისეული სურათების გადაღება ჩარევის გარეშე და შეუძლია აღმოაჩინოს ცოცხალი ადამიანები სითბოს ხელმოწერებით
  • მინუსები - თუ რამე ხელს უშლის სენსორებს, მანძილის გამოთვლები შეიძლება არასწორად გამოითვალოს

• PIR სენსორი

  • დადებითი - შეუძლია ტემპერატურის ცვლილების გამოვლენა
  • მინუსები - შეუძლებელია ზუსტად განსაზღვრო სად არის ტემპერატურის სხვაობა

ნაბიჯი 5: აღჭურვილობის შერჩევა: პროგრამული უზრუნველყოფა

მე გამოვიყენე Realsense SDK რობოტ ოპერაციულ სისტემასთან ერთად (ROS), რათა შევქმნა უნაკლო ინტეგრაცია ყველა სენსორს შორის მიკროკონტროლერთან. SDK– მ უზრუნველყო წერტილოვანი ღრუბლოვანი მონაცემების სტაბილური ნაკადი, რომელიც იდეალური იყო ყველა ობიექტისა და ოთხკუთხედის საზღვრების თვალყურის დევნისთვის. ROS დამეხმარა სენსორული მონაცემების გაგზავნა ჩემს მიერ შექმნილ პროგრამაში, რომელიც ახორციელებს ხელოვნურ ინტელექტს. AI შედგება ობიექტების გამოვლენის ალგორითმებისგან და მოძრაობის გამოვლენის ალგორითმებისგან, რომლებიც კვადროკუპტერს საშუალებას აძლევს იპოვოს მოძრაობა მის გარემოში. კონტროლერი იყენებს პულსის სიგანის მოდულაციას (PWM) ოთხკუთხედის პოზიციის გასაკონტროლებლად.

• Freenect

  • დადებითი - აქვს წვდომის დაბალი დონე ყველაფრის გასაკონტროლებლად
  • მინუსები - მხარს უჭერს მხოლოდ Kinect V1

• Realsense SDK

  • დადებითი - შეუძლია ადვილად შექმნას წერტილოვანი ღრუბლოვანი მონაცემები Realsense კამერის ინფორმაციის ნაკადისგან
  • მინუსები - მხარს უჭერს მხოლოდ Realsense D435 კამერას

• FLIR Linux დრაივერი

  • დადებითი - შეუძლია მონაცემების ნაკადის ამოღება FLIR კამერიდან
  • მინუსები - დოკუმენტაცია ძალიან შეზღუდულია

• რობოტის ოპერაციული სისტემა (ROS)

  • დადებითი - ოპერაციული სისტემა იდეალურია კამერის ფუნქციების დასაპროგრამებლად
  • ნაკლოვანებები - საჭიროა მონაცემთა სწრაფი შეგროვებისათვის სწრაფ SD ბარათზე დაინსტალირება

ნაბიჯი 6: სისტემის განვითარება

მოწყობილობის "თვალები" არის Realsense D435 სტერეო ინფრაწითელი სენსორი, რომელიც არის შელფის სენსორი, რომელიც ძირითადად გამოიყენება რობოტული პროგრამებისთვის, როგორიცაა 3D რუქა (სურათი 1). როდესაც ეს სენსორი დამონტაჟებულია ოთხკუთხედზე, ინფრაწითელ კამერას შეუძლია აჩვენოს და მისცეს კვადროკუპტერს ავტონომიური გადაადგილების საშუალება. კამერის მიერ წარმოქმნილ მონაცემებს ეწოდება წერტილოვანი ღრუბელი, რომელიც შედგება სივრცეში არსებული წერტილების სერიისგან, რომელსაც აქვს ინფორმაცია კამერის ხედვაში გარკვეული ობიექტის პოზიციის შესახებ. ეს წერტილოვანი ღრუბელი შეიძლება გადაკეთდეს სიღრმის რუქაზე, რომელიც აჩვენებს ფერებს სხვადასხვა სიღრმის სახით (სურათი 2). წითელი უფრო შორს არის, ხოლო ლურჯი უფრო ახლოს მეტრია.

იმის უზრუნველსაყოფად, რომ ეს სისტემა შეუფერხებელია, გამოყენებულ იქნა ღია კოდის ოპერაციული სისტემა სახელწოდებით ROS, რომელიც ჩვეულებრივ გამოიყენება რობოტებზე. ეს საშუალებას გაძლევთ შეასრულოთ დაბალი დონის მოწყობილობის კონტროლი და შეხვიდეთ ყველა სენსორზე და შეადგინოთ მონაცემები სხვა პროგრამებისთვის გამოსაყენებლად. ROS დაუკავშირდება Realsense SDK– ს, რომელიც საშუალებას გაძლევთ ჩართოთ და გამორთოთ სხვადასხვა კამერები, რათა თვალყური ადევნოთ რამდენად შორს არიან ობიექტები სისტემიდან. ორივეს შორის კავშირი მაძლევს კამერის მონაცემების ნაკადზე წვდომის საშუალებას, რომელიც ქმნის წერტილოვან ღრუბელს. ღრუბლოვან ინფორმაციას შეუძლია განსაზღვროს სად არის საზღვრები და ობიექტები 30 მეტრის მანძილზე და სიზუსტე 2 სმ. სხვა სენსორები, როგორიცაა SONAR სენსორები და ჩამონტაჟებული სენსორები DJI Naza კონტროლერში, იძლევა კვადროკოპტერის უფრო ზუსტი პოზიციონირების საშუალებას. ჩემი პროგრამული უზრუნველყოფა იყენებს AI ალგორითმებს წერტილოვან ღრუბელზე წვდომისათვის და ლოკალიზაციის გზით, მოწყობილობის მიმდებარე სივრცის რუქის შესაქმნელად. მას შემდეგ რაც სისტემა ამოქმედდება და დაიწყება სკანირება, ის იმოძრავებს დერეფნებში და იპოვის შესასვლელს სხვა ოთახებში, სადაც მას შეუძლია გაანათოს ოთახი სპეციალურად ადამიანების მოსაძებნად. სისტემა იმეორებს ამ პროცესს მანამ, სანამ ყველა ოთახი სკანირებული არ იქნება. ამჟამად, კვადროკუპტერს შეუძლია ფრენა დაახლოებით 10 წუთის განმავლობაში, რაც საკმარისია სრული გაწმენდისთვის, მაგრამ მისი გაუმჯობესება შესაძლებელია ბატარეის სხვადასხვა მოწყობილობით. პირველი რესპონდენტები მიიღებენ შეტყობინებებს, როდესაც ადამიანები დაინახავენ ისე, რომ მათ შეძლონ თავიანთი ძალისხმევის ფოკუსირება შერჩეულ შენობებზე.

ნაბიჯი 7: დისკუსია და დასკვნა

მრავალი ცდის შემდეგ, მე შევქმენი სამუშაო პროტოტიპი, რომელიც აკმაყოფილებდა ცხრილში 1 ჩამოთვლილ მოთხოვნებს. Realsense D435 სტერეო ინფრაწითელი კამერის გამოყენებით Realsense SDK– ით, შეიქმნა კვადროკუპტერის წინა ნაწილის მაღალი გარჩევადობის სიღრმისეული რუკა. თავიდან მე მქონდა პრობლემები ინფრაწითელ კამერასთან, რომ არ შემეძლო გარკვეული საგნების ამოცნობა მინის მსგავსად. SONAR სენსორის დამატებით, მე შევძელი ამ პრობლემის გადალახვა. Rock64– ისა და DJI Naza– ს კომბინაცია წარმატებული იყო, რადგან სისტემამ შეძლო კვადროპტოპერის სტაბილიზაცია, ხოლო ობიექტების და კედლების გამოვლენა კომპიუტერული ხედვის ალგორითმების მეშვეობით, OpenCV– ს გამოყენებით. მიუხედავად იმისა, რომ არსებული სისტემა ფუნქციონირებს და აკმაყოფილებს მოთხოვნებს, მას შეუძლია ისარგებლოს ზოგიერთი მომავალი პროტოტიპით.

ეს სისტემა შეიძლება გაუმჯობესდეს უმაღლესი ხარისხის კამერების გამოყენებით, რათა შეძლოთ ადამიანების უფრო ზუსტად გამოვლენა. ზოგიერთ უფრო ძვირადღირებულ FLIR კამერას აქვს სითბოს ხელმოწერების გამოვლენის შესაძლებლობა, რაც უფრო ზუსტი გამოვლენის საშუალებას იძლევა. სისტემას ასევე შეეძლო ფუნქციონირება სხვადასხვა გარემოში, როგორიცაა მტვრიანი და კვამლით სავსე ოთახები. ახალი ტექნოლოგიით და ცეცხლგამძლეობით, ეს სისტემა შეიძლება გაიგზავნოს სახლებში, რომლებიც იწვის და სწრაფად გამოავლენს ადამიანების ადგილს, რათა პირველებმა მოახერხონ გადარჩენილთა საფრთხისგან გამოყვანა.

Მადლობა წაკითხვისთვის! არ დაგავიწყდეთ ხმის მიცემა ოპტიკის კონკურსში!