ჟესტი მეტყველების/ტექსტის გადასაყვანად ხელთათმანი: 5 ნაბიჯი

2024 ავტორი: John Day | [email protected]. ბოლოს შეცვლილი: 2024-01-30 10:16

ამ პროექტის განხორციელების იდეა/ბიძგი იყო დაეხმაროს ადამიანებს, რომლებსაც უჭირთ კომუნიკაცია მეტყველების გამოყენებით და კომუნიკაცია ხელის ჟესტების გამოყენებით ან უფრო პოპულარულია როგორც ამერიკული ხელმოწერის ენა (ASL). ეს პროექტი შეიძლება იყოს ნაბიჯი ამ ადამიანების შესაძლებლობის უზრუნველსაყოფად იმუშაონ სხვა ადამიანებთან, რომლებსაც არ ესმით ჟესტების ენა, ერთობლივ გარემოში. ასევე, ეს პროექტი მათ საშუალებას მისცემს საჯარო გამოსვლები წარმოადგინონ რეალური ადამიანის მთარგმნელის გამოყენების გარეშე. დასაწყისისთვის, მე მხოლოდ ვცდილობდი გამომეძიებინა ზოგიერთი უფრო მარტივი ჟესტი, როგორიცაა ანბანი A, B, I და ა.შ.

ნაბიჯი 1: წრიული შეკრება

ნაბიჯი 2: პროექტის დეტალები

ეს პროექტი მოიცავს ტარებულ ხელთათმანს 4 მოქნილი სენსორი ჩარჩენილი/ჩასმული ხელთათმანში - თითო თითო პატარა, შუა, საჩვენებელი თითებისთვის და ცერა თითისთვის. Flex სენსორი არ იქნა გამოყენებული ბეჭდის თითისათვის Arduino Uno R3– ზე ანალოგური შეყვანის ქინძისთავების შეზღუდვის გამო და საერთოდ იმის გამო, რომ თითის მიერ ჟესტების ენაზე ნაჩვენები იყო დამოუკიდებელი მოძრაობა. ასევე გამოიყენება MMA8452Q ამაჩქარებელი, რომელიც ჩამჯდარია პალმის უკანა მხარეს, ხელის ორიენტაციის გასაზომად. ამ სენსორების შეყვანა გაანალიზებულია და გამოიყენება ჟესტის გასაგებად. მას შემდეგ რაც ჟესტი იგრძნობა, შესაბამისი სიმბოლო/შეტყობინება შეინახება ცვლადში. ეს პერსონაჟები და შეტყობინებები განაგრძობენ თანხვედრას მანამ, სანამ არ მოხდება გარკვეული წინასწარ განსაზღვრული ჟესტი, რომელიც მიუთითებს სასჯელის დასრულებაზე. მას შემდეგ რაც გამოვლინდება ეს სპეციალური ჟესტი, შენახული წინადადების სტრიქონი იგზავნება Raspberry Pi– ზე USB კაბელის საშუალებით Arduino– ს მიერ. Raspberry Pi შემდეგ აგზავნის მიღებულ სტრიქონს Amazon Cloud სერვისში, სახელწოდებით Polly, რათა ტექსტური ფორმატით მიღებული წინადადება მეტყველების ფორმატში გადააქციოს, შემდეგ კი მიღებული სიტყვა გადასცეს სპიკერს Raspberry Pi- სთან დაკავშირებულ AUX კაბელის საშუალებით.

ეს პროექტი იყო მხოლოდ კონცეფციის დადასტურება და აღჭურვილობისა და დაგეგმვის უკეთესი ნაწილებით და უკეთ დაკალიბრებული სხვა მრავალი ჟესტისა და ხელის მოძრაობის გამოსავლენად. ამჟამად, მხოლოდ შეზღუდული ფუნქციონირებაა დაპროგრამებული ამ პროექტში, როგორიცაა ძირითადი ჟესტების გამოვლენა და ტექსტის მეტყველების გამომუშავება.

ნაბიჯი 3: კოდი

ნაბიჯი 4: ნაბიჯები

1. შეაერთეთ მოქნილი სენსორები და ამაჩქარებელი MMA8452Q არდუინოსთან, მოწოდებული სქემის მიხედვით.

2. გადააგდეთ პროგრამა Final_Project.ino (ნაპოვნია Arduino_code.zip ფაილში) არდუინოში.

3. დაუკავშირეთ Arduino Raspberry Pi– ს USB კაბელის საშუალებით. (კაბელის ტიპი A/B).

4. ჩართეთ Raspberry Pi, დააკოპირეთ Raspberry_pi_code.zip ფაილი Raspberry Pi- ში და ამოიღეთ იგი. შეაერთეთ სპიკერი Raspberry Pi– სთან.

5. დააკოპირეთ თქვენი AWS ანგარიშის რწმუნებათა სიგელები, ანუ aws_access_key_id, aws_secret_access_key და aws_session_token ~/.aws/რწმუნებათა სიგელების ფაილში. ეს ნაბიჯი საჭიროა AWS ღრუბელთან კომუნიკაციისთვის და AWS სერვისების გამოსაყენებლად.

6. გაუშვით seria_test.py პროგრამა, რომელიც მოიპოვება ამოღებულ საქაღალდეში მე –4 ნაბიჯში.

7. ახლა გააკეთე ჟესტები წინადადების შესაქმნელად და შემდეგ გააკეთე სპეციალური ჟესტი (თითები და პალმა გასწორებული გქონდეთ და ხელისგულზე ზურგით თქვენსკენ, შემდეგ კი გადაატრიალეთ მაჯის მოძრაობა ქვემოთ, ისე, რომ ახლა თქვენი ხელისგული თქვენსკენ არის მიმართული და თითების წვერი ქვევით მიმართულია თქვენი ფეხებისკენ.) წინადადების დასრულების სიგნალად.

8. განაგრძეთ ტერმინალის შემოწმება სასარგებლო ინფორმაციისთვის.

9. და მოუსმინე მოქცეულ მეტყველებას, რომელიც ნაჩვენებია სპიკერზე.

ნაბიჯი 5: მითითებები

1.

2.

3.

4.