Magicbit– ის მონაცემების ვიზუალიზაცია AWS– ში: 5 ნაბიჯი

2024 ავტორი: John Day | [email protected]. ბოლოს შეცვლილი: 2024-01-30 10:15

Magicbit– თან დაკავშირებული სენსორებიდან შეგროვებული მონაცემები გამოქვეყნდება AWS IOT ბირთვში MQTT– ის საშუალებით, რათა ვიზუალურად მოხდეს რეალურ დროში. ჩვენ ვიყენებთ magicbit– ს, როგორც განვითარების დაფას ამ პროექტში, რომელიც დაფუძნებულია ESP32– ზე. ამიტომ ნებისმიერი ESP32 განვითარების დაფა შეიძლება გამოყენებულ იქნას ამ პროექტში.

მასალები:

მეჯიბბიტი

ნაბიჯი 1: ისტორია

ეს პროექტი ეხება თქვენი Magicbit მოწყობილობის AWS ღრუბელთან დაკავშირებას MQTT საშუალებით. MQTT საშუალებით გაგზავნილი მონაცემები გაანალიზებულია და ვიზუალიზდება ღრუბელში AWS სერვისების გამოყენებით. ასე რომ, დავიწყოთ

პირველ რიგში უნდა შეხვიდეთ AWS კონსოლზე და შეხვიდეთ სისტემაში. სწავლის მიზნით შეგიძლიათ გამოიყენოთ უფასო დონის ვარიანტი, რომელსაც გთავაზობთ AWS. ეს საკმარისი იქნება ამ პროექტისთვის.

უფრო გასამარტივებლად, მე დავყოფ პროექტს ორ ნაწილად.

ეს იქნება ჩვენი პროექტის პირველი ეტაპი. პირველი ეტაპის ბოლოს მონაცემები შეინახება S3 თაიგულებში.

AWS სერვისები, რომლებიც გამოყენებული იქნება პირველ ნაწილში,

• Kinesis Firehose
• AWS წებო
• AWS S3

პირველი გადადით AWS Kinesis სერვისზე.

აირჩიეთ Kinesis Data Firehose, როგორც ნაჩვენებია ქვემოთ და დააწკაპუნეთ შექმნაზე

შემდეგ თქვენ გადახვალთ Firehose სერვისის შექმნის პირველ საფეხურზე. შეიყვანეთ მიწოდების ნაკადის სახელი და აირჩიეთ Direct Put ან სხვა წყაროები. დააწკაპუნეთ შემდეგი.

ნაბიჯი 2 ფანჯარაში დატოვეთ ყველაფერი ნაგულისხმევად და დააჭირეთ შემდეგს. AWS წებოს სერვისის შექმნის შემდეგ ჩვენ დავბრუნდებით ამ ნაბიჯის შესწორებაზე.

მე –3 ნაბიჯში შეარჩიეთ S3 ვედრო, თუ ის ადრე შექმენით. წინააღმდეგ შემთხვევაში დააწკაპუნეთ შექმნა და შექმენით თაიგული. S3 პრეფიქსის განყოფილებაში გამოიყენეთ dest/ და შეცდომისას პრეფიქსი შეიყვანეთ შეცდომა/. თქვენ შეგიძლიათ შეიყვანოთ ნებისმიერი სახელი ზემოთ ჩამოთვლილი ორისთვის. სიმარტივისთვის ჩვენ გავაგრძელებთ საერთო სახელწოდებით. დარწმუნდით, რომ შექმენით საქაღალდე სახელწოდებით dest თქვენს მიერ არჩეულ თაიგულში. დააწკაპუნეთ შემდეგი.

მე –4 ნაბიჯში შეარჩიეთ ბუფერის მინიმალური ზომა და ბუფერული ინტერვალი რეალურ დროში მონაცემთა გადაცემისათვის. ნებართვების განყოფილებაში აირჩიეთ IAM roleKinesisFirehoseServiceRole შექმნა ან განახლება. შეინახეთ ყველაფერი ნაგულისხმევად. დააწკაპუნეთ შემდეგზე.

შემდეგ ნაწილში ნაჩვენები იქნება თქვენს მიერ განხორციელებული ცვლილებების მიმოხილვა. დააწკაპუნეთ OK. შემდეგ გექნებათ მოქმედი Kinesis Firehose.

თუ თქვენ წარმატებით შექმენით Firehose სერვისი თქვენ მიიღებთ მსგავს რამეს.

ნაბიჯი 2: Firehose და S3 Bucket– ის ტესტირება

იმის შესამოწმებლად, რომ firehose და S3 bucket მუშაობს სწორად, შეარჩიეთ IOT ბირთვი კონსოლში. თქვენ გადაგიყვანთ მსგავს გვერდზე. აირჩიეთ წესი და შექმენით წესი.

რა არის AWS IOT წესი?

იგი გამოიყენება MQTT– დან მიღებული ნებისმიერი მონაცემის კონკრეტულ სერვისზე გადასატანად. ამ მაგალითში ჩვენ გადავცემთ Kinesis Firehose- ს.

შეარჩიეთ სახელი წესისთვის. დატოვე წესი და შეკითხვა, როგორც არის. ეს გვეუბნება, რომ ყველაფერი, რაც გამოქვეყნებულია iot/topic თემაზე, გადაეგზავნება kinesis Firehose– ს ამ წესის საშუალებით.

განყოფილების ქვეშ ერთი ან მეტი მოქმედების დაყენება დააწკაპუნეთ მოქმედების დამატებაზე. აირჩიეთ შეტყობინების გაგზავნა Amazon Kinesis Firehose Stream– ზე. აირჩიეთ კონფიგურაცია. შემდეგ შეარჩიეთ ადრე შექმნილი firehose ნაკადის სახელი. შემდეგ დააჭირეთ როლის შექმნას და შექმენით როლი. ახლა თქვენ წარმატებით შექმენით როლი AWS– ში.

თქვენს მიერ გამოქვეყნებული ნებისმიერი შეტყობინება გადაეგზავნება Kinesis Firehose– ის საშუალებით S3 თაიგულებზე.

გაითვალისწინეთ, რომ Firehose აგზავნის მონაცემებს, როდესაც მისი ბუფერი ივსება ან როდესაც მიღწეულია ბუფერული ინტერვალი. მინიმალური ბუფერული ინტერვალია 60 წამი.

ახლა ჩვენ შეგვიძლია გადავიდეთ პროექტის მეორე ნაწილზე. ეს იქნება ჩვენი მონაცემთა ნაკადის დიაგრამა.

ნაბიჯი 3: AWS წებოს კონფიგურაცია

რატომ გვჭირდება AWS წებო და AWS ათენა?

S3 თაიგულებში შენახული მონაცემები პირდაპირ არ შეიძლება გამოყენებულ იქნას როგორც AWS Quicksight– ის შესასვლელი. პირველ რიგში ჩვენ უნდა მოვაწყოთ მონაცემები ცხრილების სახით. ამისათვის ჩვენ ვიყენებთ ზემოთ აღნიშნულ ორ სერვისს.

გადადით AWS წებოზე. აირჩიეთ Crawler ინსტრუმენტის გვერდით ზოლზე. შემდეგ აირჩიეთ დამატება Crawler.

პირველ ეტაპზე შეიყვანეთ სახელი თქვენი მცოცავი. დააწკაპუნეთ შემდეგზე. შემდეგ ეტაპზე დატოვეთ ნაგულისხმევი. მესამე საფეხურზე შეიყვანეთ თქვენი არჩეული S3 ველის გზა. დატოვეთ შემდეგი ფანჯარა, როგორც ნაგულისხმევი. მეხუთე ფანჯარაში შეიყვანეთ ნებისმიერი IAM როლი. მომდევნო ეტაპზე შეარჩიეთ მომსახურების გაშვების სიხშირე.

მიზანშეწონილია აირჩიოთ მორგებული ჩამოსაშლელ ყუთში და აირჩიოთ მინიმალური დრო.

შემდეგ ეტაპზე დააჭირეთ მონაცემთა ბაზის დამატებას და შემდეგ შემდეგს. დააწკაპუნეთ დასრულება.

ახლა ჩვენ უნდა გავაერთიანოთ ჩვენი Kinesis Firehose ჩვენს მიერ შექმნილი AWS წებოთი.

გადადით ჩვენს მიერ შექმნილ AWS Kinesis firehose და დააჭირეთ რედაქტირებას.

გადაახვიეთ ქვევით განყოფილებაში ჩაწერეთ ფორმატი და აირჩიეთ ჩართული.

აირჩია გამომავალი ფორმატი, როგორც Apache პარკეტი. დანარჩენი დეტალებისთვის შეავსეთ თქვენ მიერ შექმნილი წებოს მონაცემთა ბაზის დეტალები. მონაცემთა ბაზაში უნდა შეიქმნას ცხრილი და სახელი უნდა დაემატოს ამ ნაწილს. დააწკაპუნეთ შენახვაზე.

ნაბიჯი 4: AWS ათენას კონფიგურაცია

შეარჩიეთ მონაცემთა ბაზა და თქვენს მიერ შექმნილი მონაცემთა ცხრილი. შეკითხვის განყოფილებაში ეს კოდი უნდა დაემატოს.

მაგიდის სახელი უნდა შეიცვალოს თქვენ მიერ შექმნილი წებოს ცხრილის რეალური სახელით.

დააწკაპუნეთ მოთხოვნის გაშვებაზე. თუ ის მუშაობს, AWS S3 თაიგულში შენახული მონაცემები უნდა იყოს ნაჩვენები მონაცემების ცხრილის სახით.

ახლა ჩვენ მზად ვართ ვიზუალიზოთ მიღებული მონაცემები.

ნაბიჯი 5: QuickSight– ის კონფიგურაცია

გადადით AWS Quicksight– ზე

დააჭირეთ ახალ ანალიზს ზედა მარჯვენა კუთხეში და შემდეგ დააწკაპუნეთ ახალ მონაცემთა ნაკრებზე.

აირჩიეთ ათენა სიიდან. შეიყვანეთ მონაცემთა წყაროს ნებისმიერი სახელი ამომხტარ ბარათზე.

აირჩიეთ წებოს მონაცემთა ბაზა ჩამოსაშლელი ყუთიდან და შესაბამისი ცხრილიდან. ეს მიგიყვანთ ამ გვერდზე.

გადაიტანეთ და ჩამოაგდეთ ნებისმიერი ველი ველის სიიდან და აირჩიეთ ნებისმიერი ვიზუალური ტიპი.

ახლა თქვენ შეგიძლიათ ვიზუალურად შეაფასოთ თქვენი MagicBit– დან გაგზავნილი ნებისმიერი მონაცემი AWS სერვისების გამოყენებით !!!

დაიმახსოვრეთ, რომ დაუშვათ სწრაფი წვდომა შესაბამისი S3 თაიგულებისათვის მათში მონაცემების ვიზუალიზაციის მიზნით.