مربی شخصی انگلیسی - دستیار صوتی AI: 15 مرحله

2024 نویسنده: John Day | [email protected]. آخرین اصلاح شده: 2024-01-30 08:55

این پروژه به دانش آموزانی که برای هر امتحان زبان شناسی آماده می شوند کمک می کند ، جایی که می توانند با تعامل با Snips AI آموزش ببینند.

مرحله 1: داستان

چرا ما این را ساختیم؟

از تجربه شخصی خود ، افراد زیادی را دیده ام که برای آزمون های مختلف زبان مانند GRE ، TOEFL ، IELTS آماده می شوند. آنها به شخصی نیاز دارند که در حفظ و درک کلمات به آنها کمک کند. به طور کلی ، وقتی فردی برای چنین امتحانی آماده می شود ، به فردی نیاز دارد که در صورت اشتباه ، آن را بررسی و تصحیح کند. با استفاده از این راه حل ، می توانیم نیروی انسانی را با استفاده از دستیار صوتی کاهش دهیم.

مرحله 2: ساخت سخت افزار

اول از همه ، من می خواهم از SNIPS و SEEED برای حمایت از این پروژه با کیت توسعه شگفت انگیز Snips Voice Interaction (Base Kit) تشکر کنم ، من واقعاً با استفاده از این برد آموزنده احساس کردم و می توانم به برخی از پروژه های پیچیده یکپارچه شده در PCB دست یابم.

شما می توانید کیت Snips Voice Interaction Base را با 115 دلار و کیت ماهواره Snips Voice Interaction را با 85 دلار خریداری کنید.

مرحله 3: شروع به کار با SNIPS

قبل از شروع ، اجازه دهید آنچه را که شما نیاز دارید بررسی کنیم.

• Raspberry Pi 3B/B+ (توصیه می شود) یا Pi 2 مدل B (پشتیبانی می شود).
• کابل میکرو USB و آداپتور برق میکرو USB برای رزبری پای.
• کارت Micro SD (حداقل 8 گیگابایت) - برای شروع به یک سیستم عامل نیاز است. می توانید Raspbian Stretch را بارگیری کرده و از راهنمای سیستم عامل Mac OS ، Linux و Windows در وب سایت Raspberry Pi استفاده کنید.
• صفحه کلید و موس USB و مانیتور HDMI خارجی - همچنین توصیه می کنیم از صفحه کلید و موس USB و مانیتور HDMI استفاده کنید.
• اتصال به اینترنت (اترنت یا WiFi)

Snips Voice Interaction Base Kit

کیت های توسعه تعامل صوتی Snips به کاربران این امکان را می دهد تا توسعه رابط های صوتی خود را سریع آغاز کرده و به راحتی بستر صوتی Snips AI Voice را با سخت افزار ادغام کنند. اسنیپ ها روی دستگاه اجرا می شوند ، به این معنی که همه دستورات صوتی و داده های شما به جای ارسال به ابر ، به صورت محلی پردازش می شوند. این پردازش روی دستگاه منجر به یک دستیار صوتی کاملاً امن آفلاین می شود که اطلاعات شخصی شما را آنطور که باید خصوصی نگه می دارد.

کیت پایه تعامل صدا به شما امکان می دهد تا کل بستر صوتی Snips AI Voice را اجرا کنید. دارای رزبری پای 3 مدل B+ و ReSpeaker 2-Mics Pi HAT ، می تواند به عنوان بلندگوی هوشمند خانه شما عمل کند. همراه با این کیت یک بلندگو ، یک Grove - Temperature & Humidity Sensor (SHT31) ، یک Grove - Relay و یک تخته ساق دار برای آویزان کردن آن بر روی دیوار یا ایجاد یک پایه خوب ارائه می شود.

اما این همه ماجرا نیست! کیت ماهواره ای Voice Interaction ایستگاه پایه شما را تا رسیدن به هر اتاق از خانه شما افزایش می دهد و به شما امکان می دهد بر اساس جایی که دستورات خود را صادر می کنید با سخت افزار ارتباط برقرار کنید!

این کیت شامل برد Raspberry Pi3 B+ ، ReSpeaker 2 -Mics Pi HAT ، Grove - Relay ، Grove - Temperature & Humidity Sensor (SHT31) ، بلندگو 6 اهم 2 وات ، کارت MicroSD ، آداپتور برق با اتصال Micro USB ، کابل Grove x 2 ، پایه اکریلیک پنل

مراحل مونتاژ: (محتوا از SNIPS) تصویر زیر نمای کلی قطعات مونتاژ است.

در اینجا قطعات مونتاژ روی صفحه اصلی نصب می شوند.

سپس ، تمام قطعات الکترونیکی روی برد نصب می شوند.

پس از آن پوشش محافظ اکریلیک را در بالای Grove -Relay نصب کنید.

از این 2 قسمت برای تبدیل کیت به عنوان میز استفاده می شود.

در نهایت ، شما آماده بازی با Snips هستید.

این کیت دو روش برای قرار دادن ارائه می دهد. می توان آن را روی یک سطح افقی مانند پایه قرار داد یا با استفاده از سیم یا نخ روی دیوار آویزان کرد. لطفاً هنگام روشن شدن کیت مراقب رله باشید زیرا ولتاژ کار زیاد خواهد بود.

توجه: ما همچنین یک کیت ماهواره ای Snips Voice Interaction داریم که دارای رزبری پای صفر به جای رزبری پای 3B+ است

مرحله 4: ارتباط با هوش مصنوعی Snips (پروژه اصلی)

• کیت را با آداپتور برق پیش فرض موجود در کیت تغذیه کنید یا از آداپتور 5V-2A DC با اتصال Micro USB استفاده کنید.
• مرحله بعدی نصب دستیار Snips در رزبری پای است. برای صرفه جویی در زمان راه اندازی ، کارت MicroSD موجود در کیت با تصویر سیستم کامل عملکردی نشان داده شده است ، به این معنی که دستیار Snips برای کلمات ماشه ای شما آماده است.
• ما شدیداً به شما پیشنهاد می کنیم که راهنمای نصب مرحله به مرحله را با مراجعه به آدرس https://docs.snips.ai/getting-started/quick-start… مطالعه کرده و ابزار sam را در خط فرمان بیاموزید.
• با گفتن "Hey-snips" دستیار را فعال کنید و دستور زیر را دنبال کنید:

می توانید ویدیوی نمونه ای را که از قبل در کیت Snips Voice Interaction پایه نصب شده است ، در زیر بیابید.

مرحله 5: ارتباط با Snips AI (Project AI)

بنابراین این نحوه کار است. اول ، ما از کلمه داغ برای شروع تشخیص Snips استفاده می کنیم. این جمله را با استفاده از Snips NLU می فهمد و منظور را تعیین می کند. بعد با استفاده از هدف ، اسلات ها را به ترتیب استخراج کنید. با کد عمل ، پاسخ هوش مصنوعی را با مربوط به شکاف ها برنامه ریزی می کنیم.

مرحله 6: ایجاد برنامه و مقاصد

• ایجاد یک دستیار در مورد من ، من یک دستیار با نام JARVIS و با یک کلمه داغ JARVIS ایجاد کرده بودم.
• یک برنامه سفارشی ایجاد کنید یا برای مبتدیان ، از برنامه کتابخانه استفاده کنید.
• من یک برنامه کاربردی با نام Words ایجاد کرده بودم
• یک Intent ایجاد کنید و آموزش AI را شروع کنید. این نقش مهمی در تقویت هوش مصنوعی شما ایفا می کند. آن را با تمام ورودی های ممکن آموزش دهید.
• یک اسلات برای شناسایی کلمات ایجاد کنید. شکاف را در عبارت مورد انتظار جمله قرار دهید. برای مثال من ، کلمه داده شده نام اسلات است و با رنگ آبی مشخص شده است.
• پس از انجام این کار ، ASR سفارشی شما آماده می شود. با ورودی ها امتحان کنید. ما می توانیم پاسخ را در سمت راست شما ، در زیر دستیار پیدا کنیم. با این کار می توانید مقدار خام ، نام قصد و شکاف را استخراج کنید.
• اسلات را با مثالهای بیشتر به شرح زیر تعریف کنید
• در نهایت ، دستیار خود را برای تجربه هوش مصنوعی شخصی خود مستقر کنید.

مرحله 7: Raspbian را روی کارت SD رایت کنید

Raspbian توزیع انتخابی لینوکس است که بر روی Raspberry Pi اجرا می شود. در این راهنما ، ما از نسخه Lite استفاده خواهیم کرد ، اما از نسخه Desktop (که دارای محیط گرافیکی است) نیز می توان استفاده کرد.

• Etcher را بارگیری کرده و نصب کنید.
• یک کارت خوان SD را با کارت SD داخل آن متصل کنید.
• Etcher را باز کرده و از روی هارد دیسک خود فایل Raspberry Pi.img یا.zip را که می خواهید به کارت SD بنویسید انتخاب کنید.
• کارت SD را که می خواهید تصویر خود را روی آن بنویسید انتخاب کنید.
• انتخاب های خود را مرور کرده و روی "Flash!" کلیک کنید. برای شروع نوشتن اطلاعات روی کارت SD

دستگاه را به شبکه خود وصل کنید

• با افزودن ssh فایل خالی ، مجدداً در ریشه حجم بوت در کارت SD خود ، دسترسی SSH را فعال کنید.
• کارت SD را در Raspberry Pi وارد کنید. تقریباً در 20 ثانیه بوت می شود. اکنون باید به Raspberry Pi خود دسترسی SSH داشته باشید. به طور پیش فرض ، نام میزبان آن raspberrypi.local خواهد بود. در رایانه خود ، پنجره ترمینال را باز کرده و موارد زیر را تایپ کنید:

ssh [email protected]

رمز عبور پیش فرض تمشک است

مرحله 8: بستر Snips را نصب کنید

اگر قبلاً این کار را نکرده اید ، رابط خط فرمان Sam را روی رایانه خود نصب کنید. پنجره ترمینال را باز کرده و وارد کنید:

sudo npm install -g snips -samor npm install -g snips -sam // Windows

با اجرای Raspberry Pi خود در شبکه پیدا کنید:

دستگاه های سام

در مرحله بعد ، اتصال به دستگاه را برقرار کنید. نام کاربری و رمز عبور دستگاه (به طور پیش فرض به ترتیب pi و تمشک است) از شما خواسته می شود:

sam اتصال

ما اکنون آماده نصب پلت فرم Snips بر روی رزبری پای هستیم. دستور را وارد کنید:

sam init

مرحله 9: سخت افزار را پیکربندی کنید

سام برخی دستورات را برای تنظیم و پیکربندی اجزای سخت افزاری ارائه می دهد. در این بخش ، بلندگو و میکروفون را تنظیم می کنیم. بسته به تنظیمات شما ، برخی از تنظیمات سفارشی باید انجام شود.

صدا تنظیم سام

اسپیکر را تست کنید

برای بررسی عملکرد اسپیکر ، اجرا کنید

سام اسپیکر تست

اگر همه چیز خوب کار می کند ، باید صدایی را که چند کلمه می گوید روی بلندگوی خود بشنوید. پیکربندی میکروفون می توانید بررسی کنید که میکروفن شما کار می کند:

میکروفون تست سام

با فرض اینکه شما یک بلندگو دارید ، اگر می توانید آنچه را که گفتید بطور واضح بشنوید ، می توانید بدون پیکربندی میکروفون دیگر به راه خود ادامه دهید.

هنگامی که از عملکرد سخت افزاری خود مطمئن شدید ، آماده حرکت به مرحله بعدی هستید ، جایی که اولین دستیار خود را مستقر می کنید.

مرحله 10: وارد کردن مدل هوش مصنوعی از کنسول

هنگامی که دستیار خود را از مراحل قبلی ایجاد کرده اید ، از پنجره ترمینال وارد کنسول شوید:

ورود سام

از شما خواسته می شود اعتبارنامه Snips Console خود را وارد کنید.

بعد ، دستیار را نصب کنید:

دستیار نصب sam

اگر چندین دستیار در کنسول ایجاد کرده اید ، از شما خواسته می شود که کدام یک را از لیست نصب کنید.

مرحله 11: Handler & Action Code

برای اینکه Raspberry Pi پاسخ دهد ، باید تعدادی کد handler بنویسیم. این یک کد است که هنگامی که یک رویداد خاص در پلت فرم Snips اتفاق می افتد اجرا می شود ، مانند زمانی که قصد تشخیص داده شده است.

بسته به عملکرد ، روشهای مختلفی برای ایجاد Handler دارید.

یک پوشه در رایانه خود ایجاد کنید که می خواهید کد کنترل کننده خود را روی آن ذخیره کنید. از پنجره ترمینال ، به آن فهرست تغییر کرده و وارد کنید:

npm init

با این کار یک فایل با نام package.json ایجاد می شود که شامل توضیحات پروژه ، وابستگی ها و موارد دیگر است. بعد ، وابستگی بسته mqtt را اضافه کنید:

npm نصب mqtt -ذخیره کنید

اکنون ، فایلی به نام index.js ایجاد کنید و کد زیر را بچسبانید و متغیر نام میزبان را با نام میزبان رزبری پای خود جایگزین کنید (اگر با رزبریپی پیش فرض متفاوت است):

var mqtt = نیاز ('mqtt')؛

var hostname = "mqtt: //raspberrypi.local"؛ var client = mqtt.connect (نام میزبان) ؛ client.on ('connect'، function () {console.log ("[Snips Log] متصل به کارگزار MQTT" + نام میزبان) ؛ client.subscribe ('hermes/#')؛})؛ client.on ('پیام' ، عملکرد (موضوع ، پیام) {if (topic === "hermes/asr/startListening") {onListeningStateChanged (true) ؛} در غیر این صورت (topic === "hermes/asr/stopListening") {onListeningStateChanged (false)؛} else if (topic.match (/hermes \/hotword / /.+ \/found/g)! == null) {onHotwordDetected ()} else if (topic.match (/hermes) /intent\/.+/g)! == null) {onIntentDetected (JSON.parse (پیام))؛}})؛ تابع onIntentDetected (قصد) {console.log ("[Snips Log] قصد شناسایی شد:" + JSON.stringify (قصد)) ؛ } function onHotwordDetected () {console.log ("[Snips Log] کلمه داغ شناسایی شد") ؛ } تابع onListeningStateChanged (گوش دادن) {console.log ("[Snips Log]" + (گوش دادن؟ "شروع": "توقف") + "گوش دادن") ؛ }

این کد را با استفاده از Node اجرا کنید:

گره index.js

باید پیغامی مبنی بر ارتباط موفقیت آمیز با کارگزار Snips MQTT مشاهده کنید. مانند قبل ، با Raspberry Pi خود تعامل صوتی انجام دهید:

سلام اسنیپس ، آب و هوا در چنای چگونه است

شما باید گزارش های به روز شده را مشاهده کنید:

[Snips Log] متصل به کارگزار MQTT mqtt: //raspberrypi.local

[Snips Log] Hotword شناسایی شد [Snips Log] شروع به گوش دادن [Snips Log] توقف گوش دادن [Snips Log] قصد شناسایی شده: {"sessionId": "c84b5aa5-3f14-4218-975e-8872b9217933" ، "customData": null ، "siteId ":" پیش فرض "،" ورودی ":" آب و هوا در چنای چگونه است "،" قصد ": {" purposeName ":" searchWeatherForecast "،" احتمال ": 0.73845243} ،" slots ": [{" rawValue ":" chennai "،" value ": {" kind ":" Custom "،" value ":" Chennai "} ،" range ": {" start ": 44 ،" end ": 53} ،" unit ":" localality " ، "slotName": "forecast_locality"}]}

مرحله 12: عیب یابی

در صورت وجود ، دستیار قبلی را حذف کنید

$ sudo rm -rf/usr/share/snips/Assistant/

برای تغییر فهرست به دستیار

cd/var/lib/snips/skills/

برای شبیه سازی محتوای بازپرداخت به محلی

git clone

برای اجرای اسکریپت setup.sh

./setup.sh

فعال کردن محیط مجازی

منبع venv/bin/activ

کد عمل را اجرا کنید

./action-.py

اجازه دادن به اسکریپت پایتون

chmod +x action-.py

مرحله 13: محوطه سازی

• من برای این پروژه از محفظه دارای رتبه IP استفاده کرده بودم
• ابتدا ، من سوراخ های لازم را برای نصب مدار و شکاف های سیم برق و کابل HDMI ایجاد کردم.
• سپس تمام رزبری پای را داخل محفظه قرار دادم و آن را محکم پیچ کردم.
• من یک سوراخ کوچک برای بلندگو و میکروفون ایجاد کردم و با استفاده از یک تکه کوچک ورق اکریلیک آن را پوشاندم.
• بلندگو را محکم به کلاه ReSpeaker وصل کنید.
• در نهایت ، تمام پیچ ها محکم نصب شده اند و کابل برق از طریق شکاف وارد می شود.
• هوش مصنوعی بالاخره اینگونه به نظر می رسد: D

مرحله 14: کار با هوش مصنوعی

می توانید داده هایی را که با استفاده از Snips-watch نظارت می شوند پیدا کنید

حالا وقت نمایش است. من با هوش مصنوعی ساده شروع به ساخت کردم. یک نگاهی به عملکرد آن بیندازید.

هوش مصنوعی ترینر برای کلمات محدود برنامه ریزی شده است. این قابلیت با کمی تغییرات قابل تمدید است. این به دانش آموزان کمک می کند تا معنی را سریعتر از روش سنتی حفظ کنند.

توجه خوب: این پروژه تقریباً 25 کلمه آموزش داده شده است. می توان با ایجاد تغییرات جزئی در کد عمل ، آن را بیشتر گسترش داد.

می توانید اسکریپت های Action را در مخزن Github من پیوست پیدا کنید.

Project Repo for Greetings AI-https://github.com/Rahul24-06/Greetings_Assistant-TTS

Project Repo for Trainer AI-https://github.com/Rahul24-06/Personal-English-Trainer---TTS

پیوند به برنامه من:

هزینه کل راه اندازی حدود 115 دلار است که می توانید از SNIPS خریداری کنید و این راه حل در مقایسه با روش های سنتی بسیار ارزان و م effectiveثر است. تقریباً بیش از 100 ، 000 آزمایش در هند انجام شد و این محصول بهترین مکمل برای افراد GRE خواهد بود.

اگر واقعاً به شما کمک کرد ، شست کنید و کانال من را برای پروژه های جالب دنبال کنید.:) اگر دوست دارید این ویدئو را به اشتراک بگذارید. خوشحالم که مشترک شدید: https://console.snips.ai/store/fa/skill_xBKlxnE5K… ممنون که خواندید!