تشخیص حرکت دست: 5 مرحله

2024 نویسنده: John Day | [email protected]. آخرین اصلاح شده: 2024-01-30 08:53

بررسی اجمالی

در این پروژه ، ما یک دستکش می سازیم که می تواند برخی از حرکات اساسی دست را با استفاده از MicroBit و چند سنسور تشخیص دهد. ما از قابلیت های بلوتوث در MicroBit ، همراه با یک برنامه Android و یک سرور وب برای آموزش یک مدل یادگیری ماشین برای شناسایی حرکات دست استفاده خواهیم کرد.

شروع شدن

اکثر تلاشهای انجام شده در این پروژه در قسمت نرم افزاری است و تمام کدهای مورد نیاز برای اجرای این پروژه در GitHub موجود است. پایگاه کد شامل 3 جزء است ، کد ایجاد یک فایل HEX برای MicroBit ، پایگاه برنامه Android که عمدتا بر اساس برنامه MicroBit Blue از بنیاد MicroBit ، با تغییرات ایجاد شده برای این مورد خاص ، و یک وب سرور با کد برای آموزش یک مدل مبتنی بر Tensorflow برای شناسایی حرکات دست

در ادامه نحوه ساخت دستکش و قلاب کردن آن با برنامه و سرور وب را خواهیم دید.

تدارکات

• 1 میکروبیت بی بی سی
• 1 نگهدارنده باتری با 2 باتری AAA
• 1 دستکش
• مجموعه ای از سیم های بلوز ، گیره تمساح
• یک سنسور فلکس
• یک سنسور نیرو
• Velcro
• نوار الکتریکی
• یک تلفن Android
• یک کامپیوتر/لپ تاپ

مرحله 1: مرحله 1: راه اندازی MicroBit و باتری

• همانطور که در تصویر اول نشان داده شده است ، نگهدارنده باتری را به قطعه ای از velcro متصل کنید. از نوار برقی برای محکم نگه داشتن نگهدارنده باتری به بند Velcro استفاده کنید.
• سپس یک حلقه با نوار برقی ایجاد کنید تا از هر دو طرف چسبنده باشد و آن را روی بسته باتری بچسبانید.
• همانطور که در تصویر دوم نشان داده شده ، MicroBit را روی حلقه نوار بچسبانید تا MicroBit را محکم به نگهدارنده باتری متصل کنید.

مرحله 2: سنسورها را متصل کنید

• برای اتصال سنسور فلکس به پین 1 MicroBit و سنسور نیرو را به پین 0 MicroBit ، نمودار مدار نشان داده شده در تصویر را دنبال کنید.
• همانطور که در تصاویر نشان داده شده است ، سنسورهای دستکش را با استفاده از نوار برقی محکم کنید.

مرحله 3: تکمیل سخت افزار

• از انتهای بندهای مخملی برای ایجاد یک حلقه استفاده کنید و حلقه را روی انگشتان دستکش بکشید ، همانطور که در تصویر نشان داده شده است.
• برای جلوگیری از حرکت بیش از حد سیم ها ، می توانید از سیم ها برای محکم کردن سیم های دستکش استفاده کنید.

در بخش بعدی نحوه تنظیم نرم افزار را بررسی می کنیم.

مرحله 4: راه اندازی نرم افزار

تلفن خود را با MicroBit جفت کنید

1. برای جفت کردن تلفن خود ، ابتدا مطمئن شوید که بلوتوث روی تلفن شما روشن است.
2. MicroBit خود را روشن کرده و هر دو دکمه A و B را فشار داده و نگه دارید. همزمان دکمه تنظیم مجدد را فشار داده و رها کنید در حالی که هنوز دکمه های A و B را نگه داشته اید. microbit اکنون باید وارد حالت جفت شدن شود.
3. در تلفن خود ، MicroBit خود را در لیست دستگاه های بلوتوث که معمولاً یک دستگاه بلوتوث جدید در آن اضافه می کنید پیدا کنید و شروع به جفت شدن کنید. در MicroBit خود پیکان را مشاهده می کنید که به دکمه A اشاره می کند. وقتی این را فشار می دهید ، MicroBit یک سری اعداد را نشان می دهد که کد جفت شدن است و باید در تلفن خود وارد کنید. هنگامی که کد را در تلفن خود وارد کرده و جفت را انتخاب می کنید ، یک علامت چک باید در MicroBit نمایش داده شود.
4. دکمه بازنشانی را در MicroBit خود فشار دهید.

راه اندازی نرم افزار

برای راه اندازی پروژه Android App در Android Studio ، ایجاد و فلش فایل HEX در MicroBit خود و اجرای سرور وب برای اجرای مدلهای یادگیری ماشین ، راهنمای ReadMe را در هر زیر پوشه در مخزن GitHub دنبال کنید.

مرحله 5: استفاده

سرور وب

پس از پیروی از دستورالعمل های ReadMe برای نصب وابستگی ها ، ترمینالی را در فهرست پروژه وب سرور باز کنید و `python server.py` را اجرا کنید

برنامه اندروید

1. ایجاد و ایجاد APK برای برنامه Android از Android Studio. پس از مرتبط کردن تلفن خود با MicroBit ، برنامه را اجرا کنید (مرحله قبل را ببینید).
2. در صفحه شتاب سنج ، می توانید url سرور وب را با استفاده از منوی تنظیمات در گوشه سمت راست بالا تنظیم کنید. مطمئن شوید که این را به IP سرور وب خود تغییر داده اید.
3. صبر کنید تا خواندن شتاب سنج از MicroBit شروع به جمع شدن کند. خواهید دید که قرائت ها با فرکانس های مختلف تغییر می کنند. برای تغییر فرکانس B را روی MicroBit فشار دهید. در حالت ایده آل می توانید از مقدار فرکانس 10 استفاده کنید (که هر 10 میلی ثانیه خوانش می کند)
4. پس از تکمیل خوانش ها ، با استفاده از Text Text برچسب 'Gesture:' حرکت خود را نامگذاری کرده و دکمه ضبط را فشار دهید. به محض فشار دادن دکمه ضبط ، دست خود را به طور مکرر انجام دهید تا دکمه دوباره فعال شود.
5. مرحله 3 را برای ضبط چندین حرکت تکرار کنید.
6. برای شروع آموزش مدل روی سرور ، دکمه قطار را فشار دهید. پس از اتمام آموزش (حدود 15 ثانیه) ، می توانید پیش بینی کنید.
7. دکمه پیش بینی را فشار دهید و حرکت/حرکت خود را انجام دهید. این برنامه سعی می کند تا آنجا که ممکن است آن را با یکی از حرکات آموزش دیده مطابقت دهد.