تجسم داده ها از Magicbit در AWS: 5 مرحله

2024 نویسنده: John Day | [email protected]. آخرین اصلاح شده: 2024-01-30 08:51

داده های جمع آوری شده از حسگرهای متصل به Magicbit در هسته AWS IOT از طریق MQTT منتشر می شود تا به صورت گرافیکی در زمان واقعی تجسم شود. ما در این پروژه که بر اساس ESP32 طراحی شده است ، از magicbit به عنوان تابلوی توسعه استفاده می کنیم. بنابراین می توان از هر تخته توسعه ESP32 در این پروژه استفاده کرد.

تدارکات:

Magicbit

مرحله 1: داستان

این پروژه در مورد اتصال دستگاه Magicbit شما به AWS Cloud از طریق MQTT است. داده های ارسال شده از طریق MQTT با استفاده از خدمات AWS در ابر تجزیه و تحلیل می شوند. بنابراین اجازه دهید شروع کنیم

ابتدا باید به کنسول AWS بروید و وارد سیستم شوید. برای اهداف یادگیری می توانید از گزینه ردیف رایگان ارائه شده توسط AWS استفاده کنید. برای این پروژه کافی خواهد بود.

برای ساده تر شدن پروژه ، پروژه را به دو بخش تقسیم می کنم.

این اولین مرحله پروژه ما خواهد بود. در پایان مرحله اول داده ها در سطل های S3 ذخیره می شوند.

خدمات AWS که در بخش اول استفاده می شود ،

• Kinesis Firehose
• چسب AWS
• AWS S3

ابتدا به سرویس AWS Kinesis بروید.

مطابق شکل زیر Kinesis Data Firehose را انتخاب کرده و روی ایجاد کلیک کنید

سپس به مرحله 1 ایجاد سرویس Firehose هدایت می شوید. نام جریان تحویل را وارد کرده و Direct Put یا Other Sources را انتخاب کنید. Next را کلیک کنید.

در پنجره مرحله 2 همه چیز را به صورت پیش فرض بگذارید و روی بعدی کلیک کنید. پس از ایجاد سرویس چسب AWS ، به ویرایش این مرحله باز می گردیم.

در مرحله 3 اگر سطل S3 را قبلاً ایجاد کرده اید ، انتخاب کنید. در غیر اینصورت روی create و create a bucket کلیک کنید. در قسمت پیش شماره S3 از dest/ و در پیشوند خطا error/ را وارد کنید. می توانید هر نامی را برای دو مورد فوق وارد کنید. اما برای سهولت ما با یک نام مشترک ادامه می دهیم. مطمئن شوید که در داخل سطلی که انتخاب کرده اید پوشه ای با نام dest ایجاد کنید. Next را کلیک کنید.

در مرحله 4 حداقل اندازه بافر و فاصله بافر را برای انتقال داده در زمان واقعی انتخاب کنید. در قسمت Permission ، Create or update IAM roleKinesisFirehoseServiceRole را انتخاب کنید. همه چیز را پیش فرض نگه دارید. بعدی را کلیک کنید.

در بخش بعدی مروری بر تغییرات ایجاد شده نشان داده می شود. روی OK کلیک کنید. سپس شما یک Kinesis Firehose فعال خواهید داشت.

اگر سرویس Firehose را با موفقیت ایجاد کرده اید ، چیزی شبیه به این را دریافت خواهید کرد.

مرحله 2: آزمایش Firehose و سطل S3

برای آزمایش عملکرد درست سطل آتش نشانی و S3 ، هسته IOT را در کنسول انتخاب کنید. شما به صفحه ای مانند این هدایت می شوید. Rule را انتخاب کرده و یک قانون ایجاد کنید.

قانون AWS IOT چیست؟

از آن برای ارسال هرگونه داده دریافت شده از MQTT به یک سرویس خاص استفاده می شود. در این مثال ما به Kinesis Firehose ارسال می کنیم.

نامی را برای Rule انتخاب کنید. دستور قانون و عبارت درخواست را همانطور که هست بگذارید. این به ما می گوید که هر چیزی که در موضوع iot/topic منتشر شود از طریق این قانون به kinesis Firehose ارسال می شود.

در بخش تنظیم یک یا چند اقدام ، روی افزودن اقدام کلیک کنید. گزینه Send a message to Amazon Kinesis Firehose Stream را انتخاب کنید. پیکربندی را انتخاب کنید. سپس نام جریان firehose را که قبلاً ایجاد شده است انتخاب کنید. سپس روی ایجاد نقش کلیک کرده و نقش ایجاد کنید. اکنون شما با موفقیت نقشی در AWS ایجاد کرده اید.

هر پیامی که منتشر کنید از طریق Kinesis Firehose به سطل S3 ارسال می شود.

به خاطر داشته باشید که Firehose داده ها را هنگامی که بافر آن پر می شود یا زمانی که فاصله بافر به دست می آید ارسال می کند. حداقل فاصله بافر 60 ثانیه است.

اکنون می توانیم به قسمت دوم پروژه برویم. این نمودار جریان داده ما خواهد بود.

مرحله 3: پیکربندی AWS Glue

چرا به چسب AWS و AWS Athena نیاز داریم؟

داده های ذخیره شده در سطل های S3 را نمی توان مستقیماً به عنوان ورودی AWS Quicksight استفاده کرد. ابتدا باید داده ها را در قالب جداول مرتب کنیم. برای این منظور از دو سرویس فوق استفاده می کنیم.

به AWS Glue بروید. Crawler را در نوار ابزار جانبی انتخاب کنید. سپس Add Crawler را انتخاب کنید.

در مرحله اول یک نام برای شما خزنده وارد کنید. بعدی را کلیک کنید. در مرحله بعد آن را به صورت پیش فرض رها کنید. در گام سوم ، مسیر سطل S3 انتخابی خود را وارد کنید. پنجره بعدی را به صورت پیش فرض رها کنید. در پنجره پنجم هر نقش IAM را وارد کنید. در مرحله بعد فرکانس اجرای سرویس را انتخاب کنید.

توصیه می شود سفارشی را در کادر کشویی انتخاب کرده و حداقل زمان را انتخاب کنید.

در مرحله بعد روی Add Database و سپس next کلیک کنید. روی پایان کلیک کنید.

اکنون ما باید Kinesis Firehose خود را با چسب AWS که ایجاد کرده ایم ادغام کنیم.

به firewose AWS Kinesis که ایجاد کردیم بروید و روی ویرایش کلیک کنید.

به قسمت Convert Record Format رفته و Enabled را انتخاب کنید.

قالب خروجی را به عنوان پارکت آپاچی انتخاب کرد. برای بقیه جزئیات ، جزئیات پایگاه داده Glue را که ایجاد کرده اید پر کنید. یک جدول باید در پایگاه داده ایجاد شود و نام باید در این قسمت اضافه شود. روی ذخیره کلیک کنید.

مرحله 4: پیکربندی AWS Athena

پایگاه داده و جدول داده ای را که ایجاد کرده اید انتخاب کنید. در قسمت query این کد باید اضافه شود.

table-name باید با نام واقعی جدول Glue که ایجاد کرده اید جایگزین شود.

روی Run Query کلیک کنید. اگر کار می کند ، داده های ذخیره شده در سطل AWS S3 باید به عنوان جدول داده ها نمایش داده شود.

اکنون ما آماده تجسم داده های بدست آمده هستیم.

مرحله 5: پیکربندی QuickSight

به AWS Quicksight بروید

روی New Analysis در گوشه بالا سمت راست کلیک کنید و سپس روی New Dataset کلیک کنید.

Athena را از لیست انتخاب کنید. هر نام منبع داده را در کارت بازشو وارد کنید.

پایگاه داده Glue را از کادر کشویی و جدول مربوطه انتخاب کنید. این شما را به این صفحه هدایت می کند.

هر فیلدی را از لیست فیلدها بکشید و رها کنید و هر نوع تصویری را انتخاب کنید.

اکنون می توانید هرگونه داده ارسال شده از MagicBit خود را با استفاده از خدمات AWS تجسم کنید !!!

به یاد داشته باشید که برای سطوح S3 مربوطه به منظور تجسم داده ها در آنها اجازه دسترسی دهید.