پهپاد خودکار با دوربین مادون قرمز برای کمک به پاسخ دهندگان اول: 7 مرحله

2024 نویسنده: John Day | [email protected]. آخرین اصلاح شده: 2024-01-30 08:54

بر اساس گزارش سازمان بهداشت جهانی ، سالانه بلایای طبیعی حدود 90،000 نفر را می کشد و نزدیک به 160 میلیون نفر را در سراسر جهان تحت تاثیر قرار می دهد. بلایای طبیعی شامل زمین لرزه ، سونامی ، فوران آتشفشان ، رانش زمین ، طوفان ، سیل ، آتش سوزی ، امواج گرما و خشکسالی است. زمان بسیار مهم است زیرا شانس زنده ماندن با هر دقیقه ای که می گذرد کم می شود. پاسخ دهندگان اولیه می توانند در مکان یابی بازماندگان در خانه هایی که آسیب دیده اند و هنگام جستجوی آنها جان آنها را در معرض خطر قرار دهند ، دچار مشکل شوند. وجود سیستمی که بتواند افراد را از راه دور تعیین کند ، سرعت تخلیه افراد اولیه را از ساختمانها تا حد زیادی افزایش می دهد. پس از تحقیق در مورد سیستم های دیگر ، متوجه شدم که برخی از شرکت ها روبات هایی را ایجاد کرده اند که روی زمین هستند یا هواپیماهای بدون سرنشین ساخته اند که می توانند افراد را ردیابی کنند اما فقط در خارج از ساختمان ها کار می کنند. ترکیبی از دوربین های عمق همراه با یک دوربین مادون قرمز ویژه می تواند امکان ردیابی دقیق فضای داخلی و تشخیص تغییرات دما را نشان دهد که نشان دهنده آتش ، مردم و حیوانات است. با پیاده سازی حسگرهایی با الگوریتم سفارشی بر روی هواپیمای بدون سرنشین (پهپاد) ، امکان بازرسی خودکار خانه ها و شناسایی مکان افراد و حیوانات برای نجات آنها در اسرع وقت وجود خواهد داشت.

لطفاً در مسابقه اپتیک به من رای دهید!

مرحله 1: الزامات طراحی

پس از تحقیق در مورد فناوری های موجود ، من راه حل های ممکن را با متخصصان بینایی ماشین و اولین پاسخ دهنده برای پیدا کردن بهترین روش برای تشخیص بازماندگان در مناطق خطرناک مورد بحث قرار دادم. اطلاعات زیر مهمترین ویژگی های مورد نیاز و عناصر طراحی سیستم را لیست می کند.

• پردازش بینایی - سیستم باید برای پردازش سریع اطلاعات مبادله شده بین حسگرها و پاسخ هوش مصنوعی (AI) ، سرعت پردازشی بالایی را ارائه دهد. به عنوان مثال ، سیستم باید بتواند دیوارها و موانع را برای جلوگیری از آنها تشخیص داده و در عین حال افرادی را که در معرض خطر هستند نیز پیدا کند.
• خودمختار - سیستم باید بتواند بدون ورودی کاربر یا اپراتور کار کند. پرسنل با حداقل تجربه در زمینه فناوری پهپاد باید بتوانند یک یا چند دکمه را فشار دهند تا سیستم به صورت خودکار شروع به اسکن کند.
• محدوده - محدوده فاصله بین سیستم و همه اجسام دیگر در مجاورت است. این سیستم باید بتواند راهروها و ورودی ها را از حداقل 5 متری تشخیص دهد. حداقل برد ایده آل 0.25 متر است تا بتوان اجسام نزدیک را تشخیص داد. هرچه محدوده تشخیص بیشتر باشد ، زمان تشخیص برای بازماندگان کوتاهتر است.
• ناوبری و دقت تشخیص - سیستم باید بتواند تمام ورودی ها را به طور دقیق پیدا کند و به هیچ اشیایی برخورد نکند در حالی که ظاهر ناگهانی اشیا را نیز تشخیص می دهد. این سیستم باید بتواند تفاوت بین افراد و اجسام غیر زنده را از طریق حسگرهای مختلف پیدا کند.
• مدت زمان کارکرد - سیستم بسته به تعداد اتاقهای مورد نیاز برای اسکن باید بتواند 10 دقیقه یا بیشتر دوام بیاورد.
• سرعت - باید بتواند کل ساختمان را در کمتر از 10 دقیقه اسکن کند.

مرحله 2: انتخاب تجهیزات: روش تحرک

کوادکوپتر به جای یک ماشین کنترل از راه دور انتخاب شده است زیرا اگرچه کوادکوپتر شکننده است ، اما کنترل و تغییر ارتفاع برای جلوگیری از موانع آسانتر است. کوادکوپتر می تواند همه سنسورها را نگه دارد و آنها را تثبیت کند تا هنگام حرکت در اتاق های مختلف ، دقت بیشتری داشته باشند. پروانه ها از فیبر کربن ساخته شده اند که در برابر حرارت مقاوم هستند. سنسورها مستقیماً از دیوارها دور می شوند تا از حوادث جلوگیری کنند.

• خودروی کنترل از راه دور زمینی

  • جوانب مثبت - می تواند بدون سقوط سریع حرکت کند و تحت تأثیر دما قرار نمی گیرد
  • معایب - وسیله نقلیه می تواند سنسورها را در سطح پایین قرار داده و مساحت کمتری را پوشش دهد و می تواند توسط موانع مسدود شود

• کوادکوپتر

  • مزایا - سنسورها را به هوا منتقل می کند تا دید 360 درجه ای از محیط داشته باشید
  • معایب - اگر به دیوار برخورد کند ، می تواند سقوط کند و بهبود نیابد

مرحله 3: انتخاب تجهیزات: میکروکنترلرها

دو مورد اصلی برای میکروکنترلرها اندازه کوچک برای کاهش بار در کوادکوپتر و سرعت پردازش سریع اطلاعات ورودی است. ترکیب Rock64 و DJI Naza ترکیب کاملی از میکروکنترلرها هستند زیرا Rock64 دارای قدرت پردازش کافی برای تشخیص سریع افراد و جلوگیری از برخورد کوادکوپتر با دیوارها و موانع است. DJI Naza با انجام تمام تثبیت و کنترل موتور که Rock64 نمی تواند انجام دهد ، به خوبی از آن تعریف می کند. میکروکنترلرها از طریق یک پورت سریال ارتباط برقرار می کنند و در صورت لزوم امکان کنترل کاربر را می دهند. رزبری پای می توانست جایگزین مناسبی باشد ، اما از آنجا که Rock64 پردازنده بهتر و اتصال بهتری به سنسورهای ذکر شده در جدول بعدی داشت ، Pi انتخاب نشد. Intel Edison و Pixhawk به دلیل عدم پشتیبانی و اتصال انتخاب نشدند.

• تمشک پای

  • مزایا - می تواند دیوارها و اشیاء ثابت را تشخیص دهد
  • معایب - تلاش می کند تا با داده های همه سنسورها مطابقت داشته باشد ، بنابراین نمی توان ورودی ها را به سرعت مشاهده کرد. نمی تواند سیگنال های موتور را خروجی دهد و هیچ سنسور تثبیت کننده ای برای کوادکوپتر ندارد

• راک 64

  • مزایا - قادر به تشخیص دیوارها و ورودی ها با تاخیر کمی است.
  • معایب - همچنین می تواند سیستم را در سراسر خانه بدون برخورد با هیچ چیزی با استفاده از همه سنسورها هدایت کند. قادر به ارسال سیگنال به اندازه کافی برای کنترل سرعت موتور نیست و هیچ سنسور تثبیت کننده ای برای کوادکوپتر ندارد

• اینتل ادیسون

  • مزایا - قادر به تشخیص دیوارها و ورودی ها با کمی تأخیر است
  • معایب - تکنولوژی قدیمی تر ، بسیاری از سنسورها به کتابخانه های جدیدی نیاز دارند که ایجاد آنها بسیار وقت گیر است

• دیجی نازا

  • مزایا - دارای ژیروسکوپ ، شتاب سنج و مغناطیس سنج یکپارچه ، به منظور امکان پایداری کوادکوپتر در هوا با تنظیمات میکرو در سرعت موتور
  • منفی - قادر به انجام هیچ نوع پردازش بینایی نیست

• پیکساک

  • مزایا - جمع و جور و سازگار با سنسورهای مورد استفاده در پروژه با استفاده از خروجی ورودی عمومی (GPIO)
  • منفی - قادر به انجام هیچ نوع پردازش بینایی نیست

مرحله 4: انتخاب تجهیزات: حسگرها

ترکیبی از چندین سنسور به منظور بدست آوردن تمام اطلاعات مورد نیاز برای یافتن افراد در مناطق خطرناک استفاده می شود. دو سنسور اصلی انتخاب شده شامل دوربین مادون قرمز استریو در کنار SOON Navigation And Ranging (SONAR) است. پس از انجام برخی آزمایشات ، تصمیم گرفتم از دوربین Realsense D435 استفاده کنم زیرا کوچک است و می تواند فاصله ها را تا 20 متر با دقت ردیابی کند. این فریم با سرعت 90 فریم بر ثانیه اجرا می شود که به شما اجازه می دهد قبل از تصمیم گیری درباره اینکه اجسام کجا هستند و کوادکوپتر به کدام جهت باید اندازه گیری شود ، اندازه گیری های زیادی انجام شود. سنسورهای SONAR در بالا و پایین سیستم قرار داده شده اند تا کوادکوپتر بداند قبل از تماس با یک سطح چقدر بالا یا پایین مجاز است. همچنین یکی از آنها رو به جلو است که به سیستم اجازه می دهد اشیایی مانند شیشه را تشخیص دهد که سنسور دوربین مادون قرمز استریو نمی تواند آنها را تشخیص دهد. افراد و حیوانات با استفاده از الگوریتم های تشخیص حرکت و شی شناسایی می شوند. دوربین FLIR برای کمک به دوربین مادون قرمز استریو پیگیری می کند که چه چیزی زندگی می کند و چه چیزی باعث افزایش کارایی اسکن در شرایط نامساعد نمی شود.

• Kinect V1

  • مزایا - می تواند اشیاء سه بعدی را به راحتی تا فاصله 6 متری ردیابی کند
  • منفی -فقط 1 سنسور مادون قرمز دارد و برای کوادکوپتر بسیار سنگین است

• Realsense D435

  • مزایا - دارای 2 دوربین مادون قرمز و یک دوربین قرمز ، سبز ، آبی ، عمق (RGB -D) برای تشخیص شی سه بعدی با دقت بالا تا فاصله 25 متری. عرض آن 6 سانتی متر است که به راحتی در کوادکوپتر جا می شود
  • منفی - می تواند گرم شود و ممکن است به فن خنک کننده نیاز داشته باشد

• لیدار

  • مزایا - پرتو که می تواند مکانهایی را تا فاصله 40 متری در خط دید خود ردیابی کند
  • منفی - گرمای محیط می تواند بر دقت اندازه گیری تأثیر بگذارد

• ردیاب آوایی

  • جوانب مثبت - پرتويي كه مي تواند 15 متر دورتر رد شود اما قادر است اشياء شفاف مانند شيشه و اكريليك را تشخيص دهد
  • معایب - فقط نقاطی در یک خط دید وجود دارد اما می تواند توسط کوادکوپتر به منطقه اسکن منتقل شود

• اولتراسونیک

  • مزایا - برد آن تا 3 متر است و بسیار ارزان است
  • معایب - فقط در یک خط دید قابل مشاهده است و می تواند به راحتی از محدوده فاصله سنجی خارج شود

• دوربین FLIR

  • مزایا - قادر به گرفتن عکس های عمیق از طریق دود بدون دخالت است و می تواند افراد زنده را از طریق امضای حرارتی تشخیص دهد
  • معایب - اگر چیزی با سنسورها تداخل داشته باشد ، محاسبات فاصله را می توان به اشتباه محاسبه کرد

• سنسور PIR

  • مزایا - قادر به تشخیص تغییر دما است
  • منفی - نمی توان تفاوت دما را در کجا مشخص کرد

مرحله 5: انتخاب تجهیزات: نرم افزار

من از SDK Realsense در کنار سیستم عامل ربات (ROS) برای ایجاد یکپارچگی یکپارچه بین همه سنسورها با میکروکنترلر استفاده کردم. SDK یک جریان ثابت از داده های ابر نقطه ای را فراهم می کند که برای ردیابی همه اجسام و مرزهای کوادکوپتر ایده آل است. ROS به من کمک کرد تا تمام داده های حسگر را به برنامه ای که ایجاد کرده ام و هوش مصنوعی را پیاده می کند ارسال کنم. هوش مصنوعی شامل الگوریتم های تشخیص شی و الگوریتم های تشخیص حرکت است که به کوادکوپتر اجازه می دهد در محیط خود حرکت پیدا کند. کنترل کننده از Pulse Width Modulation (PWM) برای کنترل موقعیت کوادکوپتر استفاده می کند.

• Freenect

  • مزایا - دسترسی کمتری برای کنترل همه چیز دارد
  • معایب - فقط از Kinect V1 پشتیبانی می کند

• SDK واقعی

  • مزایا - می تواند به راحتی داده های ابر نقطه ای را از جریان اطلاعات از دوربین Realsense ایجاد کند
  • منفی - فقط از دوربین Realsense D435 پشتیبانی می کند

• درایور لینوکس FLIR

  • مزایا - می تواند جریان داده را از دوربین FLIR بازیابی کند
  • معایب - اسناد بسیار محدود است

• سیستم عامل ربات (ROS)

  • مزایا - سیستم عامل ایده آل برای برنامه ریزی عملکرد دوربین
  • معایب - برای جمع آوری داده های کارآمد ، باید روی کارت SD سریع نصب شود

مرحله 6: توسعه سیستم

"چشم" دستگاه سنسور مادون قرمز استریو Realsense D435 است که یک سنسور خارج از قفسه است که عمدتا برای برنامه های رباتیک مانند نقشه برداری سه بعدی استفاده می شود (شکل 1). هنگامی که این سنسور روی کوادکوپتر نصب می شود ، دوربین مادون قرمز می تواند کوادکوپتر را هدایت کرده و به آن اجازه حرکت مستقل را بدهد. داده های تولید شده توسط دوربین را ابر نقطه ای می نامند که شامل مجموعه ای از نقاط در یک فضا است که اطلاعاتی در مورد موقعیت یک شیء خاص در دید دوربین دارند. این ابر نقطه ای را می توان به نقشه عمق تبدیل کرد که رنگها را به صورت اعماق مختلف نشان می دهد (شکل 2). قرمز دورتر است ، در حالی که آبی متر بیشتر است.

برای اطمینان از یکپارچگی این سیستم ، از سیستم عامل منبع باز به نام ROS ، که معمولاً در روبات ها استفاده می شود ، استفاده شد. این اجازه می دهد تا کنترل دستگاه در سطح پایین را انجام داده و به همه سنسورها دسترسی پیدا کرده و داده ها را برای برنامه های دیگر مورد استفاده قرار دهید. ROS با SDK Realsense ارتباط برقرار می کند که به شما امکان می دهد دوربین های مختلف را روشن و خاموش کنید تا فاصله اشیاء از سیستم را ردیابی کنید. پیوند بین هر دو به من امکان دسترسی به جریان داده از دوربین را می دهد که یک ابر نقطه ای ایجاد می کند. اطلاعات ابر نقطه ای می تواند تعیین کند که مرزها و اشیاء در فاصله 30 متری و دقت 2 سانتی متر هستند. سنسورهای دیگر مانند سنسورهای SONAR و سنسورهای تعبیه شده در کنترلر DJI Naza امکان موقعیت دقیقتر کوادکوپتر را فراهم می کنند. نرم افزار من از الگوریتم های هوش مصنوعی برای دسترسی به ابر نقطه استفاده می کند و از طریق محلی سازی ، نقشه ای از کل فضای اطراف دستگاه ایجاد می کند. هنگامی که سیستم راه اندازی شد و شروع به اسکن کرد ، از راهروها عبور کرده و ورودی های اتاقهای دیگر را پیدا می کند و در آنجا می تواند اتاق را به طور خاص جستجو کند و افراد را جستجو کند. سیستم تا زمانی که همه اتاقها اسکن نشوند این روند را تکرار می کند. در حال حاضر ، کوادکوپتر می تواند حدود 10 دقیقه پرواز کند که برای جابجایی کامل کافی است ، اما با تنظیمات مختلف باتری می توان آن را بهبود بخشید. اولین افرادی که پاسخ می دهند هنگامی که افراد مشاهده می شوند اعلاناتی دریافت می کنند تا بتوانند تلاش خود را بر روی ساختمان های منتخب متمرکز کنند.

مرحله 7: بحث و نتیجه گیری

پس از آزمایشات زیاد ، من یک نمونه اولیه کار کرده بودم که الزامات ذکر شده در جدول 1 را برآورده می کرد. با استفاده از دوربین مادون قرمز استریو Realsense D435 با SDK Realsense ، یک نقشه عمق وضوح بالا از جلوی کوادکوپتر ایجاد شد. در ابتدا من برخی از مشکلاتی را در مورد عدم تشخیص اجسام خاص مانند شیشه با دوربین مادون قرمز داشتم. با افزودن سنسور SONAR ، من توانستم بر این مشکل غلبه کنم. ترکیبی از Rock64 و DJI Naza موفقیت آمیز بود زیرا سیستم قادر بود کوادکوپتر را تثبیت کند در حالی که قادر به تشخیص اشیاء و دیوارها از طریق الگوریتم های دید رایانه ای سفارشی با استفاده از OpenCV بود. اگرچه سیستم فعلی کاربردی است و الزامات را برآورده می کند ، اما می تواند از برخی نمونه های اولیه آن بهره مند شود.

این سیستم می تواند با استفاده از دوربین های با کیفیت بالاتر بهبود یابد تا بتواند افراد را با دقت بیشتری تشخیص دهد. برخی از دوربین های گران قیمت FLIR این قابلیت را دارند که امضاهای حرارتی را تشخیص دهند که می تواند تشخیص دقیق تری را امکان پذیر کند. این سیستم همچنین می تواند در محیط های مختلف مانند اتاق هایی که گرد و خاک دارند و مملو از دود است ، کار کند. با استفاده از فناوری جدید و ضد حریق ، این سیستم می تواند به خانه هایی ارسال شود که در حال سوختن هستند و به سرعت مکان افراد را تشخیص می دهند ، به طوری که عوامل اولیه می توانند بازماندگان را از خطر نجات دهند.

ممنون که خواندید! فراموش نکنید که در مسابقه اپتیک به من رای دهید!