اینترنت اشیا: HoloLens را با استفاده از ابرو خود (EMG) کنترل کنید: 5 مرحله

2024 نویسنده: John Day | [email protected]. آخرین اصلاح شده: 2024-01-30 08:54

این پروژه بخشی از پروژه NASA SUITS دانشگاه کلرادو بولدر بود که در آوریل 2019 در NASA JSC ارائه و آزمایش شد. برای پروژه آن سال ، من رهبر پروژه توسعه سخت افزار بودم و این یکی از مشارکت من بود. در مورد چالش ناسا SUITS اینجا بیشتر بخوانید.

با این پروژه ، من می خواستم به هر کسی (در این مورد فضانوردان EVA) اجازه دهم تا بدون استفاده از حرکات دست یا ورودی های صوتی ، با Heads-Up-Display (HUD) مستقر در Microsoft HoloLens ارتباط برقرار کند. من از نظر دسترسی به این هدف رسیدم ، می خواستم یک وسیله جانبی/پوشیدنی بسازم که به فضانوردان EVA اجازه دهد بدون نمایش ارتباط با کنترل زمین با صفحه نمایش خود ارتباط برقرار کنند و به دلیل دستکش های بسیار فشرده آنها ، رابط کاربری غیر منطقی است. در حالی که این حوزه ای است که من تا حدودی با آن ناآشنا هستم ، اما می توانم ببینم که این وسیله جانبی برای افراد دارای معلولیت مفید است و به آنها اجازه می دهد از HoloLens یا سایر دستگاه های AR/VR استفاده کنند و از ورودی های رابط که مستثنی یا دلهره آور هستند چشم پوشی کنند.

در حالی که لیست اقلام این پروژه خود مستثنی است (HoloLens بسیار گران است!) ، از دستگاه جانبی می توان با سایر دستگاه های AR/VR استفاده کرد.

اگر س questionsالی دارید ، می خواهید از کار من پیروی کنید یا فقط ایده ها را جمع کنید ، لطفاً این کار را در توییتر من انجام دهید: @4Eyes6Senses.

تدارکات

Microsoft HoloLens (یا سایر دستگاه های AR/VR)

ذرات فوتون

سنسور عضلانی MyoWare - سنسور MyoWare را می توان با سایر بردهای شکست EMG جایگزین کرد. اگر مطمئن نیستید که EMG کجاست ، پیشنهاد می کنم در اینجا بیشتر بخوانید

پد های حسگر پزشکی

وحدت (رایگان)

برخی از تجربه های ایجاد پروژه ها در Unity

سیم

مرحله 1: اتصال MyoWare با ذره فوتون

اتصال ذرات فوتون به برد MyoWare بسیار ساده است. برای این مرحله ، باید اتصالات بین Particle Photon و برد MyoWare را لحیم کنید. اطمینان حاصل کنید که اتصالات محکمی دارید تا کابل ها هنگام پوشیدن دستگاه خراب نشوند. برای جلوگیری از وقفه ، توصیه می کنم کابل ها را قبل از لحیم کاری در فوتون ببافید.

- سیم را به پورت "+" برد MyoWare بچسبانید ، سپس انتهای دیگر کابل را به پین "3v3" فوتون لحیم کنید.

- سیم را به پورت "-" برد MyoWare بچسبانید ، سپس انتهای دیگر کابل را به پین "GND" فوتون لحیم کنید.

- سیم را به درگاه "SIG" برد MyoWare بچسبانید ، سپس انتهای دیگر کابل را به پین "A0" فوتون لحیم کنید.

مرحله 2: بارگذاری کد به ذرات فوتون

با استفاده از IDE Particle Photon ، فایل.ino را بارگذاری کنید. برد MyoWare را روی یک گروه عضلانی قرار دهید و مقادیر را بررسی کنید تا مطمئن شوید دستگاه شما کار می کند. وقتی به کد نگاه می کنید ، متوجه می شوید که یک متغیر "آستانه" در حال حاضر تنظیم شده است ، این متغیر حداقل مقداری است که MyoWare هنگام بالا کشیدن ابرو از عضله من می خواند. من همچنین متغیر را روی "600" قرار دادم زیرا به من اجازه می داد در حین استفاده از MyoWare بدون ایجاد هیچگونه کاذب مثبت (تحریک تصادفی) مکالمات عادی داشته باشم ، ممکن است بخواهید با مقادیر بازی کنید تا آستانه مورد نظر برای استفاده خود را پیدا کنید.

مرحله 3: قرار دادن MyoWare

برای پروژه ناسا SUITS ، من انتخاب کردم که MyoWare Board را بالای ابرو قرار دهم. بعد از مشاهده پروژه "'Sup Brows" که توسط Adafruit انجام شد ، از قرار دادن MyoWare در آنجا الهام گرفتم. پس از انجام برخی آزمایشات ، مشخص شد که ابروها مکان مناسبی برای این پروژه خاص هستند. این مکان بسیار عالی است زیرا حرکات ثابت ماهیچه ها در بازوها ، پاها و تنه که فضانوردان EVA در طول راهپیمایی فضایی انجام می دهند ، روی سنسورها تأثیر نمی گذارد.

مرحله 4: اتصال MyoWare با Unity

اکنون زمان مرحله نهایی است ، بیایید MyoWare را با Unity متصل کنیم! در این دستورالعمل اسکریپتی وجود دارد که باید در پروژه Unity خود وارد کنید. اما ابتدا ، باید چند مورد را در کد تغییر دهید. ابتدا باید افزونه JSON Object Unity را به پروژه خود اضافه کنید. در مرحله بعد ، شما باید شناسه دستگاه خود و رمز دسترسی خود را به خط 19 اضافه کنید: particleURI = "https://api.particle.io/v1/devices/ shared شناسه دستگاه خود را وارد کنید]/Next؟ access_token = [شماره خود را وارد کنید نشانه دسترسی]". می توانید شناسه دستگاه خود را از Particle IDE دریافت کنید ، مانند شکل 2 ، روی برگه دستگاه های خود کلیک کنید (کادر قرمز) و زیر نام دستگاه خود را جستجو کنید تا شناسه خود را بیابید (کادر آبی). بعد ، برای پیدا کردن رمز دسترسی خود ، روی برگه تنظیمات در IDE کلیک کنید.

مرحله 5: انجام شد

پس از اتمام پروژه Unity ، یک HoloLens با EMG خواهید داشت!

اگر س questionsال عمیقی دارید ، می خواهید در مورد افزایش انسان یاد بگیرید ، می خواهید با کار من پیش بروید یا فقط ایده ها را جمع کنید ، لطفاً این کار را در توییتر من انجام دهید:

اگر علاقمند به همکاری با تیم ما برای چالش NASA SUITS 2019 - 2020 هستید ، لطفاً به من ایمیل بزنید:

تشکر ویژه از مدل موجود در تصویر اول ، دارن ، که طراحی آن را در ناسا نیز آزمایش کرد. تشکر دیگری از شریک برنامه نویسی من برای پروژه AJ ، که بسیاری از این کارها را ممکن کرد.