ბიოფიდბექ კინო: 7 ნაბიჯი

2024 ავტორი: John Day | [email protected]. ბოლოს შეცვლილი: 2024-01-30 10:19

პროექტის ავტორი

ჯესიკა ენ

თანამშრომლები

• გრიგორი ჰაფი
• სალუდ ლოპესი
• პედრო პეირა

შესახებ

ვიდეო გადაღების ექსპერიმენტული სისტემა, რომელიც აკავშირებს მონაწილის ტვინს კამერის ფუნქციებთან Neurosky Mindwave EEG Reader Headset– ის საშუალებით. Biofeedback Cinema სისტემა მუშაობს ტრადიციული კინემატოგრაფის ნაცვლად, ნაცვლად იმისა, რომ კომპოზიციის სააგენტო თავად გადასცეს მონაწილეს პერსონალური BRAIN to CAMERA ინტერფეისის საშუალებით. პროექტი შემუშავდა სემინარის დამსწრეებთან გრეგორი ჰოფთან, სალუდ ლოპესთან და პედრო პეირასთან ერთად. სემინარის შედეგები შეგიძლიათ წაიკითხოთ შემდეგ საიტზე:

პროტოტიპის კონფიგურაცია

Biofeedback Cinema სისტემა იძლევა მრავალ პოტენციურ პროგრამას. ამ ინსტრუქციისთვის ჩვენ მოვამზადეთ სისტემის დემო, რომელიც უყურებს მონაწილის ფოკუსირების/ყურადღების დონეს (ერთი მთლიანი რიცხვი) და ითარგმნება როგორც კამერის პოზიციონირება (პან და დახრის საშუალებით) და კამერის ფოკუსირება (შიგნით OpenCV საშუალებით). ეს ყველაფერი შესაძლებელი გახდა bluetooth კავშირის საშუალებით Neurosky EEG Reader Headset– ს და Raspberry Pi– ს შორის.

Raspberry Pi არის პატარა კომპიუტერი, რომელიც აღჭურვილია ვებკამერით და სკრიპტებით (ხელმისაწვდომია ქვემოთ), რომელიც აერთიანებს მონაწილის ტვინის აქტივობას კამერის პარამეტრებთან და კამერის პოზიციასთან. კამერის დინამიური მდებარეობა შესაძლებელი ხდება Arduino მიკროკონტროლის საშუალებით, რომელიც იღებს სიგნალებს Raspberry Pi– დან. ჩვენ მოუთმენლად ველით შემდგომ განვითარებას, ვინაიდან ჩვენ მიზნად ისახავს ტვინის ტალღის დამატებითი პარამეტრების (სიხშირეების დაკავშირება თვალის დახამხამებასთან და ა.შ.) და კამერის ფუნქციების (ანუ ელფერით, გაჯერებით, სიკაშკატით და ა.შ.) ჩართვით.

ქვემოთ მოცემულია ინსტრუქცია თქვენი ბიო კავშირის კინოს სისტემის შესაქმნელად.

ბედნიერი ექსპერიმენტი

ნაბიჯი 1: მარაგი

ყველაფერი რაც თქვენ გჭირდებათ საკუთარი ბიოფიდბექ კინოს პროტოტიპის შესაქმნელად ჩამოთვლილია ქვემოთ.

1. Neurosky Mindwave მობილური EEG ყურსასმენი

2. ჟოლო Pi B+ (b+ უკეთესია, მეტი USB პორტი, მაგრამ B მოდელი ასევე კარგია თუ თქვენ გაქვთ USB კერა).

   1. ჟოლოს სიმძლავრის ადაპტერი ან ბატარეის პაკეტი
   2. Wifi Dongle ან Ethernet კავშირი (საჭიროა მხოლოდ კონფიგურაციის დროს)
   3. Bluetooth Dongle იხილეთ ვიკი თავსებადი დონლებისთვის
   4. SD ბარათი (მინიმუმ 8 GB) NOOBS– ით.

3. Arduino ნებისმიერი დაფა კარგია, Uno– ს გამოყენებით ამ ინსტრუქციულში. ასევე გაითვალისწინეთ, რომ თქვენ შეგიძლიათ უბრალოდ გამოიყენოთ I/O Pi- ზე.

   1. Arduino დენის ადაპტერი ან ბატარეის პაკეტი
   2. A-B USB კაბელი
4. USB ვებკამერა
5. მინი პან-დახრის ნაკრები

6. მონიტორინგი HDMI შეყვანისას ან გამოიყენეთ VNC თქვენი კომპიუტერის დისტანციური მართვისთვის [გაკვეთილი აქ]

   HDMI კაბელი

7. USB კლავიატურა და მაუსი გირჩევთ bluetooth კლავიატურასა და მაუსს, რათა შეამციროთ გამოყენებული USB პორტები.

ნაბიჯი 2: დააინსტალირეთ Raspberry Pi

1. აპარატურის დაყენება

შეაერთეთ კლავიატურა, მაუსი, bluetooth dongle, wifi dongle (ან ethernet), ვებკამერა, მონიტორი HDMI კაბელის საშუალებით და ენერგია თქვენს Raspberry Pi– ს

2. ოპერაციული სისტემის დაყენება

• ჩართეთ ჩართვა და თქვენი Pi უნდა დაიწყოს. დააინსტალირეთ Rasbpian OS, ინსტრუქციები აქ:
• თუ ჩატვირთულია და Raspian სწორად არის დაინსტალირებული, თქვენ უნდა ნახოთ სახლის დესკტოპი [სურათი ზემოთ].

მინიშნებები:

• თუ დესკტოპის ასპექტის თანაფარდობა გამორთულია, სცადეთ გადატვირთოთ Raspberry Pi. თუ ის ჯერ კიდევ გამორთულია, გადახედეთ აქ, რომ ხელით განაახლოთ ასპექტის თანაფარდობა.
• თუ გახსნით ტექსტურ რედაქტორს და თქვენი კლავიატურის სპეციალური სიმბოლოები არასწორად არის გამოსახული, გადახედეთ აქ კლავიატურის კონფიგურაციის განახლებისთვის.
• შეამოწმეთ თქვენი ინტერნეტ კავშირი (თქვენ დაგჭირდებათ ბიბლიოთეკების დაყენების დროს). შეხედეთ აქ დახმარებას wifi დაყენების მისაღებად.

ნაბიჯი 3: შეაერთეთ ნეიროვსკის ყურსასმენი

1. Bluetooth კონფიგურაცია

სანამ Pi დაუკავშირდება Neurosky– ს, ჩვენ გვჭირდება Bluetooth– ის დაყენება:

სამუშაო მაგიდაზე გახსენით "LXTerminal" (აქედან მოხსენიებულია ტერმინალი). გაუშვით ეს ბრძანება ხარვეზების აღმოსაფხვრელად და განახლებისთვის:

$ sudo apt-get განახლება

დააინსტალირეთ bluetooth ამ ბრძანებით:

$ sudo apt-get დააინსტალირეთ bluetooth

დააინსტალირეთ მოსახერხებელი დესკტოპის ინსტრუმენტთა პანელის bluetooth პროგრამა:

$ sudo apt-get install -y bluetooth bluez-utils blueman

გადატვირთეთ Pi ტერმინალიდან:

$ sudo გადატვირთვა

2. შეამოწმეთ Bluetooth კავშირი

• ჩართეთ ნეიროსკის ყურსასმენი
• მოწყობილობების ტერმინალური სკანირებისგან:

hcitool სკანირება

Mindwave ყურსასმენი უნდა იყოს ჩამოთვლილი, გაითვალისწინეთ ყურსასმენის MAC მისამართი [სურათი ზემოთ]

3. დააინსტალირეთ ნეიროსკი ბიბლიოთეკები

ახლა ჩვენ მზად ვართ დავაინსტალიროთ Neurosky Python ბიბლიოთეკები და დავიწყოთ მისი მონაცემების ნაკადის შეგროვება ბიბლიოთეკის სატესტო სკრიპტით:

ტერმინალიდან დააინსტალირეთ github პროგრამა:

sudo apt-get დააინსტალირეთ git-core

კლონის github საცავი Neurosky Python ბიბლიოთეკით:

sudo git კლონი

ჩვენ უნდა განაახლოთ MindwaveMobileRawReader.py ფაილი თქვენი ყურსასმენის MAC მისამართით. FYI: ფაილების სახელები არის ასოებისადმი მგრძნობიარე

sudo nano /home/pi/python-mindwave-mobile/MindwaveMobileRawReader.py

• განაახლეთ ფაილში ჩამოთვლილი MAC მისამართი. Ctrl-X დასასრულებლად, Y შესანახად, Enter გასასვლელად.
• დააწყვილეთ Neurosky და Pi და დაუშვით ავტომატური კავშირის ფუნქცია, თუ მოთხოვნილი იქნება PIN- კოდი "0000":

$ sudo bluez-simple-agent hci0 XX: XX: XX: XX: XX: XX

$ sudo bluez-test-device სანდო XX: XX: XX: XX: XX: XX დიახ

დააინსტალირეთ Python Bluetooth ბიბლიოთეკა:

sudo apt-get დააინსტალირეთ python-bluez

გაუშვით ბიბლიოთეკის ტესტის სკრიპტი, რათა დარწმუნდეთ, რომ Pi- ს შეუძლია მონაცემთა ნაკადის გადახედვა. თქვენ უნდა ნახოთ მონაცემთა ნაკადი [სურათი ზემოთ]:

$ sudo python /home/pi/python-mindwave-mobile/read_mindwave_mobile.py

ნაბიჯი 4: შეაერთეთ USB ვებკამერა W/ღია CV

1. დააინსტალირეთ OpenCV

ტერმინალიდან:

$ sudo apt-get დააინსტალირეთ libopencv-dev python-opencv

დასრულების შემდეგ გააგრძელეთ:

$ sudo apt -get -f ინსტალაცია

კარგი ზომებისთვის:

$ sudo apt-get დააინსტალირეთ libopencv-dev python-opencv

შეამოწმეთ ინსტალაცია ბიბლიოთეკის იმპორტის მცდელობით:

$ პითონი

> იმპორტი cv2

2. შეამოწმეთ OpenCV პითონში USB ვებკამერით

• სამუშაო მაგიდაზე გახსენით "IDLE" (არ გახსნათ IDLE3!)
• ფაილის მენიუდან აირჩიეთ ახალი ფანჯარა. დააკოპირეთ ჩვენი Cv-Blur-Test სკრიპტი ახალ ფანჯარაში და შეინახეთ. სკრიპტი ხელმისაწვდომია აქ:
• გაშვების მენიუდან აირჩიეთ გაშვების მოდული (ან დააჭირეთ F5). მუშაობის დაწყებას შეიძლება რამდენიმე წამი დასჭირდეს, მაგრამ თქვენ უნდა ნახოთ პატარა ჩარჩო, რომელიც გამოჩნდება თქვენი ვებკამერის პირდაპირ კვებაზე და ვიდეო უნდა იყოს ბუნდოვანი. გილოცავთ, OpenCV დაინსტალირდა და წარმატებით მუშაობს თქვენს ვებკამერაზე [სურათი ზემოთ].

ნაბიჯი 5: შეაერთეთ Arduino

1. ჩამოტვირთეთ Arduino IDE

ტერმინალიდან:

sudo apt-get დააინსტალირეთ arduino

2. შეაერთეთ Arduino & Load Sketch

• შეაერთეთ arduino Pi- ში A-B USB კაბელით.
• დესკტოპის დაწყების მენიუდან გადადით Electronics– ზე და გახსენით Arduino IDE. დააკოპირეთ ჩვენი arduino-serial-pi ესკიზი IDE– ში [ბმული ქვემოთ]. ეს არის ძალიან ძირითადი ესკიზი, რომელიც გადაინაცვლებს სერვო ძრავებს სერიაზე მომავალი შეყვანის საფუძველზე. ჩვენ გამოგიგზავნით მონაცემებს სერიალზე ტვინის ტალღის გამომუშავების საფუძველზე, პითონის ესკიზის გამოყენებით ბოლო საფეხურზე, როდესაც ჩვენ ყველაფერს ერთად დავაყენებთ.

Arduino-serial-pi ესკიზი ონლაინ აქ:

Arduino IDE– ში გადადით Tools მენიუში, შეარჩიეთ სერიული პორტი და შეარჩიეთ Arduino პორტი ჩამოთვლილი, ალბათ რაღაც /dev /ttyACM0. გააკეთეთ ჩანაწერი პორტზე

3. გამორთეთ სერიული კონსოლი

ჩამოტვირთეთ და გაუშვით სკრიპტი, რომ გამორთოთ სერიული კონსოლი, ასე რომ USB სერიული კავშირი შეუფერხებლად იმუშავებს:

$ wget

/alamode-setup.tar.gz?raw=true -O alamode-setup.tar.gz

$ tar -xvzf alamode -setup.tar.gz

$ cd alamode-setup

$ sudo./ დაყენება

$ sudo გადატვირთვა

FYI:

თუ თქვენ იყენებთ B+ -ს, შეიძლება იყოს საკმარისი I/O სერვისების მხარდასაჭერად, (შეხედეთ აქ GPIO– ს დასაყენებლად და გამოყენებისთვის). თუმცა, მე დაინტერესებული ვარ დამატებითი კომპონენტების დამატებით ტვინის ელექტრონიკის მომავალი ექსპერიმენტებისთვის. ამრიგად, თავდაპირველი პროტოტიპის არდუინოს დაყენება უზრუნველყოფს უამრავ ელექტრონულ შესაძლებლობებს.

ნაბიჯი 6: ყველაფერი ერთად ააწყვეთ

1. პითონის საბოლოო დამწერლობა

სანამ ჩვენ დავამატებთ პითონის საბოლოო სკრიპტს "python-mindwave-mobile" საქაღალდეში, ჩვენ უნდა შევცვალოთ საქაღალდის ნებართვები. ტერმინალიდან:

$ chmod a = rwx/home/pi/python-mindwave-mobile

• გახსენით IDLE და გაუშვით ჩვენი საბოლოო პითონის სკრიპტი, რომელიც ხელმისაწვდომია ონლაინ აქ: https://github.com/PrivateHQ/biofeedback-cinema/ დარწმუნდით, რომ ის მდებარეობს პითონ-აზრის ტალღის მობილური საქაღალდეში. FYI: თქვენ უნდა განაახლოთ ჩვენი პითონის სკრიპტი თქვენი ნამდვილი Arduino პორტის მისამართით.
• როდესაც ამ სკრიპტს გაუშვებთ სამი რამ, რაც უნდა მოხდეს: 1) თქვენი ყურადღების დონე ჩამოთვლილი იქნება Python Shell– ში, 2) ჩნდება პატარა ჩარჩო, რომელიც აჩვენებს ვებკამერის პირდაპირ კვებას ბუნდოვანი ცვლილებით ყურადღების დონის მიხედვით, 3) ძრავა (ტ) გადაადგილება, რადგან ყურადღების დონე არდუინოს გადაეცემა სერიალის საშუალებით [ვიდეო ზემოთ].

ნაბიჯი 7: გაუმჯობესება და განვითარება

Raspberry Pi– ს აქვს შეზღუდული დამუშავების ძალა და ცდილობს შეუფერხებლად გაუშვას OpenCV ფუნქციები. ეს არის ის, რასაც განვაგრძობ განვითარება და გაუმჯობესება. გარდა ამისა, მე ვგეგმავ დამატებით დამატებას ტვინის ტალღის პარამეტრებზე (სიხშირეები, რომლებიც დაკავშირებულია თვალის დახამხამებასთან და ა.შ.) და კამერის ფუნქციები (ანუ ელფერი, გაჯერება, სიკაშკაშე და ა.