پیانو پلیر Synesthesia: 4 مرحله

2024 نویسنده: John Day | [email protected]. آخرین اصلاح شده: 2024-01-30 08:52

این نوازنده پیانو با استفاده از چرخ رنگ و دوربین موسیقی پخش می کند! تصاویر توسط دوربین ثبت می شوند ، پردازش می شوند و به عنوان نت موسیقی تفسیر می شوند. در حال حاضر برنامه ای برای پخش قافیه های مهد کودک وجود دارد که می توان با بارگذاری یک طرح جدید آردوینو که مشخص می کند کدام نت ها باید پخش شوند (چه رنگهایی باید به دوربین نشان داده شوند) تغییر کند.

رایانه لینوکس پردازنده یک سرویس را در هنگام راه اندازی شروع می کند که با دوربین عکس می گیرد ، تابع مقادیر RGB در تصویر را محاسبه می کند و بر اساس مقدار بازگشتی عملکرد ، صدا را خروجی می دهد. قبل از پخش صدا ، سیگنالی را به آردوینو ارسال می کند که یک سروو را بچرخاند و رنگ مربوط به نت بعدی که باید پخش شود را نشان می دهد. سپس دوباره حلقه شروع می شود ، عکس گرفته می شود ، چرخ رنگ می چرخد و صدایی به صورت بی نهایت پخش می شود.

این پروژه یک راه سرگرم کننده برای ادغام موسیقی ، برنامه نویسی سیستم های لینوکس مدرن ، برنامه نویسی میکروکنترلر ، ابزاری inkscape ، برش لیزری و هدف گیری مجدد برخی از جعبه های مقوایی ناخواسته است.

همه SVG های کد و inkscape در github در آدرس زیر موجود است:

github.com/melvyniandrag/pyMusic

مواد استفاده شده:

1. برچسب های سفید خالی
2. جعبه مقوایی
3. وبکم
4. مداد شمعی
5. آردوینو
6. Beagleboard-xM
7. سیم ها
8. کابل سریال
9. دانش اولیه در مورد پردازش تصویر و موسیقی

مرحله 1: موارد رایانه

در هواپیما به یک کامپیوتر کوچک با قابلیت لینوکس مانند Raspberry Pi نیاز دارید. من از BeagleBoard-xM قدیمی استفاده کردم زیرا اتفاقاً آن را در اطراف خود داشتم و قبلاً یک سیستم عامل روی کارت SD داشتم. شما می توانید از هر چیزی استفاده کنید ، تا زمانی که بتواند یک وب کم را اداره کند ، می تواند OpenCV (کتابخانه بینایی رایانه ای که برای تهیه و پردازش تصاویر چرخ رنگ استفاده می شود) را اجرا کرده و دارای یک جک خروجی صدا باشد.

من سیستم عامل را برای اجرای کد پایتون که تصاویر را هنگام بوت شدن پس از آموزش systemd می گیرد ، راه اندازی کردم. برای اجرای اسکریپت ، باید sudo apt-get install python-pyaudio python-opencv را دریافت کنید تا کتابخانه های مشخص شده را دریافت کنید. همچنین برای دریافت آن کتابخانه ها باید pip install numpy pyserial را نصب کنید. pyaudio برای پخش صداها ، opencv برای عکسبرداری و پردازش تصویر ، numpy همچنین برای پردازش تصویر و pyserial برای ارتباط با آردوینو مورد استفاده قرار می گیرد.

آردوینو برای چرخاندن سروو موتور که چرخ رنگ روی آن نصب شده است استفاده می شود. اگر رزبری پای دارید می توانید از پین های GPIO موجود در آن استفاده کنید و آردوینو را کنار بگذارید ، اما باید کد پایتون را اصلاح کنید.

در تصاویر می توانید قدرت فنی عملیات و چند قطعه کد را مشاهده کنید.

مرحله 2: پیانو

من پیانو را از مقوا از چند جعبه قدیمی که داشتم ساختم. من این خوش شانس را دارم که در نزدیکی یک مکان تجاری که دارای برش لیزری است زندگی کنم. یک سال تمام در این فکر بودم که دستگاه برش لیزری برای چه چیزی می خواهد ، و معلوم شد که بالاخره از آن استفاده کردم.

من کامپیوتر ، آردوینو و سروو را اندازه گیری کردم تا بدانم به چه مقدار فضا احتیاج دارم ، قطعات پیانو را به صورت inkscape کشیدم و روی برش لیزری بریدم. (ویرایش: کارتن من تمام شد تا محفظه را در کامپیوتر و آردوینو نگه دارم و بنابراین آنها را داخل آن قرار ندادم. آنها در قسمت بیرونی کیس هستند. مهم نیست ، می توانستم از جایی یک جعبه دیگر تهیه کنم ، اما نشد در پایان مهم نیست.)

قطعات با اپوکسی کنار هم قرار گرفتند.

مرحله 3: مونتاژ

در اینجا تصاویری از مونتاژ و رنگ آمیزی پیانو وجود دارد. جوهر چاپگر تمام شده بود ، بنابراین من نتوانستم رنگها را روی برچسبهای سفید مطابق برنامه ریزی شده چاپ کنم. بنابراین من از مداد رنگی دخترم استفاده کردم. و من نتوانستم یک چاقو xacto برای برچسب زدن به شکل مقوا پیدا کنم ، بنابراین فقط از چاقوی استیک استفاده کردم و چیزی محافظ روی پیشخوان آشپزخانه گذاشتم. از چیزی که بدست آوردی استفاده کن!

مرحله 4: چالش های فنی و ملاحظات آینده

بخش چالش برانگیز این پروژه ، خواندن مقادیر RGB مناسب برای خواندن توسط دوربین بود. در وب کمی که دارم دارای LED های فوق العاده روشن است که نمی دانم چگونه در لینوکس خاموش کنم. من فکر می کنم یک درایور ویندوز وجود دارد که به شما امکان می دهد آنها را روشن و خاموش کنید. من آزمایش کردم که LED ها را با نوار برقی بچسبانم و آنها را روشن بگذارم. من همچنین قدرت نرم افزار را نه تنها با نشان دادن کاغذ رنگی ، بلکه با نوشتن یک وب سایت کوچک که رنگها را نشان می دهد ، آزمایش کردم.

صداهایی که توسط رایانه تولید می شود ، گاهی اوقات صدای تند و تیز دارد و این از آنجا ناشی می شود که من تجربه بسیار کمی در برنامه نویسی صوتی لینوکس دارم. کتابخانه pyaudio مجموعه ای از شکایات را در مورد عدم نصب JACK بر روی رایانه ارائه می دهد ، اما به طور پیش فرض JACK نمی خواهد بدون سر اجرا شود (بدون دسکتاپ gui و مانیتور). این یک وظیفه برنامه نویسی است که من فکر می کردم یک اصلاح است ، اما لازم نیست برای بیان ماهیت نوازنده پیانو که در ذهن داشتم.

من در نظر داشتم که از یک میل لنگ دستی برای تغییر رنگها استفاده کنم ، و شاید آنها را روی وردنه قرار دهم ، اما این عوارض خاص خود را دارد. سروو کمی سر و صدا دارد ، اما در حال حاضر خوب کار می کند.

پیانو نوازنده در حال حاضر فقط برای پخش 4 نت برنامه ریزی شده است. این به این دلیل است که سروو فقط 180 درجه حرکت می کند ، اکثر قافیه های مهد کودک تنها با 3-4 نت قابل پخش هستند ، و من نمی خواستم چرخ رنگ با مناطق رنگی به هم ریخته شود ، احتمالاً دوربین را گیج کند. بنابراین با ترکیبی از شانس موسیقی و محدودیت های فنی ، 4 نت خوب است.