سینمای بیوفیدبک: 7 مرحله

2024 نویسنده: John Day | [email protected]. آخرین اصلاح شده: 2024-01-30 08:57

نویسنده پروژه

جسیکا آن

همکاران

• گرگوری هاف
• سالود لوپز
• پدرو پیرا

در باره

یک سیستم ضبط ویدئویی تجربی که مغز شرکت کننده را از طریق هدست خواننده EEG Neurosky Mindwave EEG به عملکردهای دوربین متصل می کند. سیستم Biofeedback Cinema به جای یک فیلمبردار سنتی عمل می کند ، در عوض نمایندگی ترکیب را از طریق رابط سفارشی BRAIN to CAMERA به خود شرکت کننده می دهد. این پروژه با همکاری شرکت کنندگان گرگوری هوگ ، سالود لوپز و پدرو پیرا در شرکت کنندگان در کارگاه توسعه یافت. نتایج کارگاه را می توانید در آدرس زیر بخوانید:

پیکربندی نمونه اولیه

سیستم Biofeedback Cinema خود را به بسیاری از برنامه های کاربردی بالقوه وامی دارد. برای این دستورالعمل ، ما یک نسخه نمایشی از سیستم را آماده کرده ایم که سطح تمرکز/توجه شرکت کننده (یک عدد صحیح) را بررسی می کند و آن را به موقعیت دوربین (از طریق پان و شیب) و فوکوس دوربین (داخلی از طریق OpenCV) ترجمه می کند. همه اینها با اتصال بلوتوث بین هدست Neurosky EEG Reader و Raspberry Pi امکان پذیر است.

Raspberry Pi یک کامپیوتر کوچک است که مجهز به وب کم و اسکریپت هایی است (در زیر موجود است) که فعالیت مغزی شرکت کنندگان را به تنظیمات دوربین و موقعیت دوربین متصل می کند. موقعیت دوربین پویا از طریق میکروکنترلر آردوینو که سیگنال های رزبری پای را دریافت می کند امکان پذیر است. ما منتظر توسعه بیشتر هستیم زیرا هدف ما شامل پارامترهای موج مغزی اضافی (فرکانس های مرتبط با پلک زدن چشم و غیره) و عملکردهای دوربین (یعنی رنگ ، اشباع ، روشنایی و غیره) است.

در زیر دستورالعمل هایی برای ایجاد سیستم سینمایی Biofeedback Cinema ارائه شده است.

آزمایش مبارک

مرحله 1: لوازم

همه آنچه برای ساخت نمونه اولیه سینمای Biofeedback خود نیاز دارید در زیر ذکر شده است.

1. هدست EEG موبایل Neurosky Mindwave

2. رزبری پای B+ (b+ بهتر است ، درگاه های USB بیشتری دارد ، اما اگر یک هاب USB دارید ، مدل B نیز مناسب است).

   1. آداپتور برق رزبری پای یا بسته باتری
   2. Wifi Dongle - یا اتصال اترنت (فقط در هنگام راه اندازی لازم است)
   3. دانگل بلوتوث برای دانگل های سازگار به ویکی مراجعه کنید
   4. کارت SD (حداقل 8 گیگابایت) با NOOBS.

3. Arduino Anyboard خوب است ، از Uno در این دستورالعمل استفاده کنید. همچنین توجه داشته باشید ، فقط می توانید از I/O در Pi استفاده کنید.

   1. آداپتور برق آردوینو یا بسته باتری
   2. کابل USB A-B
4. وب کم USB
5. مینی کیت پان تیلت

6. مانیتور کردن ورودی HDMI یا استفاده از VNC برای کنترل از راه دور pi خود از کامپیوتر [آموزش اینجا]

   کابل HDMI

7. USB Keyboard & Mouse صفحه کلید و ماوس بلوتوث را برای به حداقل رساندن پورت های USB مورد استفاده توصیه می کند.

مرحله 2: رزبری پای را راه اندازی کنید

1. راه اندازی سخت افزار

صفحه کلید ، ماوس ، دانگل بلوتوث ، دانگل وای فای (یا اترنت) ، وب کم ، مانیتور را از طریق کابل HDMI و برق را به رزبری پای خود وصل کنید

2. راه اندازی سیستم عامل

• دستگاه را روشن کنید و Pi شما باید راه اندازی شود. سیستم عامل Rasbpian را نصب کنید ، دستورالعمل ها در اینجا:
• اگر بوت شده و Raspian به درستی نصب شده است ، باید دسکتاپ خانگی را مشاهده کنید [تصویر بالا].

نکات:

• اگر نسبت ابعاد دسکتاپ خاموش است ، رزبری پای خود را راه اندازی مجدد کنید. اگر هنوز خاموش است ، به اینجا نگاه کنید تا نسبت ابعاد را به صورت دستی به روز کنید.
• اگر ویرایشگر متن را باز می کنید و نویسه های خاص صفحه کلید شما اشتباه هستند ، برای به روزرسانی پیکربندی صفحه کلید خود به اینجا مراجعه کنید.
• اتصال اینترنت خود را آزمایش کنید (برای نصب کتابخانه ها در حین راه اندازی به این مورد نیاز خواهید داشت). برای دریافت تنظیمات wifi اینجا را جستجو کنید.

مرحله 3: هدست Neurosky را وصل کنید

1. پیکربندی بلوتوث

قبل از اتصال Pi به Neurosky ، باید بلوتوث را تنظیم کنیم:

روی دسکتاپ "LXTerminal" را باز کنید (از اینجا به بعد ترمینال نامیده می شود). این دستور را برای رفع و به روز رسانی کاستی ها اجرا کنید:

$ sudo apt-get update

bluetooth را با این دستور نصب کنید:

$ sudo apt-get bluetooth را نصب کنید

ابزار مفید بلوتوث دسکتاپ-نوار ابزار را نصب کنید:

$ sudo apt-get install -y bluetooth bluez-utils blueman

راه اندازی مجدد Pi از ترمینال:

راه اندازی مجدد $ sudo

2. اتصال بلوتوث را آزمایش کنید

• هدست Neurosky را روشن کنید
• از اسکن ترمینال دستگاه ها:

اسکن hcitool

هدست Mindwave باید ذکر شده باشد ، به آدرس MAC هدست توجه کنید [تصویر بالا]

3. کتابخانه های Neurosky را نصب کنید

اکنون ما آماده نصب کتابخانه های Neurosky Python هستیم و شروع به جمع آوری جریان داده آن با اسکریپت تست کتابخانه می کنیم:

از ترمینال ابزار github را نصب کنید:

sudo apt-get install git-core

کلون مخزن github با کتابخانه Neurosky Python:

sudo git clone

ما باید فایل MindwaveMobileRawReader.py را با آدرس MAC هدست شما به روز کنیم. FYI: نام فایل ها به حروف بزرگ و کوچک حساس هستند

sudo nano /home/pi/python-mindwave-mobile/MindwaveMobileRawReader.py

• آدرس MAC ذکر شده در فایل را به روز کنید. Ctrl-X برای اتمام ، Y برای ذخیره ، Enter برای خروج.
• در صورت درخواست PIN از "0000" ، Neurosky و Pi را جفت کنید و ویژگی اتصال خودکار را مجاز کنید:

$ sudo bluez-simple-agent hci0 XX: XX: XX: XX: XX: XX

$ sudo bluez-test-device trusted XX: XX: XX: XX: XX: XX بله

کتابخانه بلوتوث پایتون را نصب کنید:

sudo apt-get python-bluez را نصب کنید

برای اطمینان از اینکه Pi قادر به پیش نمایش جریان داده است ، اسکریپت آزمایش کتابخانه را اجرا کنید. شما باید جریان داده ها را مشاهده کنید [تصویر بالا]:

$ sudo python /home/pi/python-mindwave-mobile/read_mindwave_mobile.py

مرحله 4: USB Webcam W/Open CV را وصل کنید

1. OpenCV را نصب کنید

از ترمینال:

$ sudo apt-get libopencv-dev python-opencv را نصب کنید

پس از اتمام ، ادامه دهید:

$ sudo apt -get -f را نصب کنید

برای اندازه گیری خوب:

$ sudo apt-get libopencv-dev python-opencv را نصب کنید

نصب را با تلاش برای وارد کردن کتابخانه آزمایش کنید:

$ پایتون

> واردات cv2

2. OpenCV را در پایتون با وب کم USB تست کنید

• روی میز کار "IDLE" را باز کنید (IDLE3 را باز نکنید!)
• از منوی File New Window را انتخاب کنید. اسکریپت Cv-Blur-Test ما را در پنجره جدید کپی کرده و ذخیره کنید. اسکریپت در اینجا موجود است:
• از منوی Run گزینه Run Module را انتخاب کنید (یا F5 را فشار دهید). ممکن است چند ثانیه طول بکشد تا شروع به کار کنید ، اما باید ببینید یک فریم کوچک با فید وب کم شما نمایش داده می شود و ویدئو باید تار شود. تبریک می گویم ، OpenCV نصب شد و با وب کم شما با موفقیت کار می کند [تصویر بالا].

مرحله 5: آردوینو را وصل کنید

1. Arduino IDE را بارگیری کنید

از ترمینال:

sudo apt-get نصب آردوینو

2. Arduino & Load Sketch را وصل کنید

• آردوینو را با کابل USB A-B به Pi وصل کنید.
• از منوی شروع دسکتاپ به Electronics بروید و Arduino IDE را باز کنید. طرح arduino-serial-pi ما را در IDE کپی کنید [پیوند زیر]. این یک طرح اولیه است که موتورهای سروو را بر اساس ورودی های روی سریال حرکت می دهد. ما داده ها را بر اساس خروجی امواج مغزی با استفاده از طرح پایتون در آخرین مرحله که همه چیز را کنار هم قرار می دهیم ، ارسال می کنیم.

Arduino-serial-pi طرح آنلاین در اینجا:

در Arduino IDE ، به منوی Tools بروید ، Serial Port را انتخاب کنید و پورت Arduino ذکر شده را انتخاب کنید ، احتمالاً چیزی شبیه /dev /ttyACM0. بندر را یادداشت کنید

3. Serial Console را غیرفعال کنید

یک اسکریپت را بارگیری و اجرا کنید تا کنسول سریال غیرفعال شود تا اتصال سریال usb بدون مشکل اجرا شود:

$ wget

/alamode-setup.tar.gz؟raw=true -O alamode-setup.tar.gz

$ tar -xvzf alamode -setup.tar.gz

$ cd alamode-setup

$ sudo./ راه اندازی

راه اندازی مجدد $ sudo

FYI:

اگر از B+ استفاده می کنید ممکن است ورودی/خروجی کافی برای پشتیبانی از سرویس ها وجود داشته باشد (برای راه اندازی و استفاده از GPIO به اینجا مراجعه کنید). با این حال ، من علاقه مند به افزودن اجزای اضافی برای آزمایشات آینده مغز و الکترونیک هستم. بنابراین ، راه اندازی نمونه اولیه با آردوینو ، امکانات الکترونیکی فراوانی را تضمین می کند.

مرحله 6: همه چیز را با هم ترکیب کنید

1. اسکریپت نهایی پایتون

قبل از اینکه بتوانیم اسکریپت پایتون نهایی را به پوشه "python-mindwave-mobile" اضافه کنیم ، باید مجوزهای پوشه را تغییر دهیم. از ترمینال:

$ chmod a = rwx/home/pi/python-mindwave-mobile

• IDLE را باز کرده و آخرین اسکریپت پایتون خود را که به صورت آنلاین در اینجا موجود است اجرا کنید: https://github.com/PrivateHQ/biofeedback-cinema/ مطمئن شوید که در پوشه python-mindwave-mobile قرار دارد. FYI: شما باید اسکریپت Python ما را با آدرس پورت Arduino واقعی خود به روز کنید.
• هنگامی که این اسکریپت را اجرا می کنید ، سه مورد باید رخ دهد: 1) سطح توجه شما در Python Shell ذکر می شود ، 2) یک قاب کوچک ظاهر می شود که نشان می دهد خوراک زنده وب کم با محو شدن بر اساس سطح توجه تغییر می کند ، 3) موتور (ث) با انتقال سطح توجه به آردوینو از طریق سریال [فیلم بالا] حرکت کنید.

مرحله 7: بهبود و توسعه

رزبری پای قدرت پردازشی محدودی دارد و برای اجرای هموار عملکردهای OpenCV تلاش می کند. این چیزی است که من به توسعه و پیشرفت آن ادامه خواهم داد. علاوه بر این ، من قصد دارم پارامترهای موج مغزی اضافی (فرکانس های مرتبط با پلک زدن چشم و غیره) و عملکردهای دوربین (یعنی رنگ ، اشباع ، روشنایی و غیره) را در تکرارهای آینده در نظر بگیرم.