Vision 4all - Sistema Visão Assistida Para Deficientes Visuais Usando OpenCV، Dragonboard 410c E Aplicativo Android: 6 مرحله

2024 نویسنده: John Day | [email protected]. آخرین اصلاح شده: 2024-01-30 08:52

DESCRIÇÃO

می توانید به طور مستقل در مورد کمبودهای موجود در مکان های داخلی و داخلی مراکز خرید و فرودگاه ها و فضاهای داخلی ، پیش بینی کنید.

locomoção em ambientes já mapeados pode یا não ser anaro um problema bem resolutionvido. می توانید برنامه App Store را از طریق ، برای دسترسی به 3 محیط و از طریق EUA ، یا راهنمای LowViz استفاده کنید. از این رو ، ما می توانیم از محدودیت های موجود استفاده کنیم ، و به این ترتیب نمی توانیم مانع از کارکردن و جلوگیری از استفاده از آنها شویم. Assim، a missão deste projeto é، através de visão computacional e processamento de imagem، identificar possíveis obstáculos que possam surgir ao longo do caminho do usinerio e poder recalcular or caminho a ser seguido dando Independência e empodrando o usu. برای اولین بار ، در حال انجام ، به طور کامل تکمیل نمی شود ، ما از طریق یک برنامه کاربردی و زیرسطحی و یا استفاده از گیاهان محلی مورد علاقه خود ، خرید و فروش می کنیم. Comca placa integrada a uma câmera na cintura do usuário، e fon de ouvido، aplicativo calculation a posição no ambiente and permite o usuário definir para onde quer ir dá comandos de voz para movimentação. Câmera، quando detea um obstáculo a frente، pode recalcular o caminho do usuário. به همین خاطر هیو هرر می گوید: "Nenhum indivíduo é incapaz، o que existe é falta de desenvolvimento tecnológico para capacitor nos tornar iguais".

با استفاده از Dragonboard 410c ، می توانید سخت افزار خود را با سرعت بالا در مرحله پردازش یا پردازش تصاویر موجود در زمان واقعی (به عنوان یک برنامه موبایل) و همچنین با سرعت بالا به کار ببرید.

مرحله 1: مواد

Para este projeto vamos utilizar:

- uma placa Qualcomm Dragonboard 410c ؛

- کتابخانه پردازش تصویر OpenCV (نسخه 3.1) ؛

- câmera que se comunique com a placa (استفاده از تلفن همراه اندروید و استفاده از IP Webcan) ؛

- سیستم تلفن همراه Android برای برنامه یا برنامه کاربردی ؛

مرحله 2: Instalando OpenCV Na Dragonboard

به منظور نصب و راه اندازی سیستم ، می توانید کتابخانه ای برای پردازش تصاویر - OpenCV - بدون دستگاه نصب کنید. پیوند Siga as instruções deste:

docs.opencv.org/3.0-beta/doc/tutorials/intr…

مرحله 3: Conectar a Câmera Com a Dragonboard

Precisamos conectar a câmera que serão os olhos do deficiente com a placa de desenvolvimento Dragonboard 410c. Existem vários jeitos de fazer isso. یک صفحه اژدها می تواند برای مسطح ها ، یا از راه دور ، به عنوان câmeras usadas comumente em placas como و Raspberry pi استفاده کنید.

با استفاده از برنامه های کاربردی ، می توانید از وب کم (Moto G 3ª) استفاده کنید و از طریق وب IP (برای Google Play استفاده کنید) اجازه دهید از طریق انتقال اطلاعات WiFi از آن استفاده کنید.

Abaixo um programa que faz aquisição simples da imagemandandand a biblioteca opencv. O link passado como parâmetro no construtor do objeto VideoCapture é o IP do cell (indicado no aplicativo) + “/videofeed”. Na imagem acima ، você encontra onde está o IP do seu celular.

A aquisição pode ser difícil nas versões anteriores a 3.1 da opencv ، caso você não tenha conseguido compilar. Se você conectar uma câmera pela entrada de câmeras da dragonboard basta colocar como parâmetro o valor zero ("0") ، که به معنی پیش فرض câmera است.

مرحله 4: نرم افزار Desenvolver De Processamento De Imagens Que Toma Decisões

Há três programas em anexo، o identificadorDeObstáculos.cpp، o MostraContornoWebcam.cpp e o VídeoCadeiraSlavo.cpp (این نرم افزار را انجام می دهد و آزمایش می کند).

واضح: ایده ای برای شناسایی راه های جلوگیری از ایجاد اختلالات مربوط به مواردی که می توانید از آنها استفاده کنید ، می توانید از آنها استفاده کنید ، یا از آنها استفاده کنید ، و یا از آنها استفاده کنید. گام). Estando a câmera na barriga do usuário، levemente inclinada para o chão، conforme o usuário se locomove، o programa identifica a existência de um objeto (seja uma pessoa ou uma cadeira por ex ex) e manda o sinao parada caso o objet região especificada (caminho do usuário) (تصویری تصویری از شرطی که در آن کار می کنید - در صورت استفاده از نزدیک ترین حالت ممکن است پیکسل های مختلف را در منطقه ای که برای تعیین شرایط پیش بینی شده است) انجام دهید. Dessa forma، sem a adição de filtros ao tipo de chão، para o funcionamento dessa versão simpleificada، and needcrio um chão razoavelmente homogêneo، de forma que os detalhes do chão não sejam konsiderrados contornos.

مشاهده é possível ajustar a variável lowThreshold do código para um valor de 0 (mais sensitivo) e 100 (menos sensitivo ao contorno). O valor sugerido é 60 para chão em geral.

Funcionamento: o identificadorDeObstáculos.cpp دریافت می کنم و از طریق wifi می توانم از طریق wifi através do sparkfun que deve ser um vídeo de um mobile acoplado a barriga do usuário استفاده کنم. O código manda condições de parada um um aplicativo de um outro celular que usuário está usando. Idealmente manda-se comandos de voz de parada parada o usuário.

Obs: Altere o código de acordo para especificar de onde os vídeos são recebidos e para qual android as informações são encaminhadas. Os tipos de alterações são especificadas no próprio código (assim como nos programas de teste) comentados no início do programa.

Para saber mais sobre bordas de Canny e limiarização، além de outros tópicos de visão computacional، توصیه می کند که یک سند رسمی OpenCV را تهیه کنید.

مرحله 5: Fazer Aplicativo Que Repassa As Informações Para O Deficiente Visual

برای بازتولید و استفاده از نیازهای بانک اطلاعاتی ، هیچ داده ای در سایت ندارید.

Assim que a Dragonboard می توانید مجدداً به آن دسترسی پیدا کنید و از طریق آن ما را در دستور کار خود قرار دهید و هیچ اطلاعاتی نداشته باشید. sparkfun.com Opplicativo faz uma consulta a este banco com o auxílio da classe okhttp3 obtendo as informações como um Json. Então fazemos um parser desse json para encontrarmos o último dado enviado. Com esse dado em mãos conseguimos dizer se há um obstáculo no caminho، assim é emitido um sinal de voz para o usuário parar. Se o caminho está livre o aplicativo emite um sinal para prosseguir continueamente است.

به عنوان کلاسها و رابطها برای استفاده از آنها استفاده کنید ، بنابراین می توانید توضیح دهید:

GetJson: برای استفاده از داده های خود از هیچ اطلاعاتی استفاده نمی کنید. sparkfun retornando um arquivo em formato json para a aplicação.

JsonDownloader: در صورت استفاده از دستورالعمل های اصلی برای استفاده از دستورالعمل های مورد استفاده GetJson ، از طریق یک رابط کاربری می توانید از یک رابط کاربری استفاده کنید و برای استفاده از آن می توانید پیش فرض کنید.

MainActivity: nesta classe implementamos a lógica da aplicação que berdewamion Consulta o banco de dados ، و اطلاعات مربوط به استفاده از صدای من با استفاده از صوتی دقیق برای اولین بار و یا ادامه کار caminhando.

RequestListener: برای استفاده از رابط کاربری اصلی و اصلی ویژگی های اصلی استفاده کنید.

SdmSoundPlayer: به منظور استفاده از برنامه های کاربردی ، از طریق برنامه های کاربردی ، می توانید صدای خود را وارد کنید ، بنابراین می توانید به عنوان یک پیش فرض از ایجاد صدا در مورد ماکارونی و پاستا استفاده کنید. Feito isso dentro do método initSoundHash () você deve colocar esses arquivos dentro de mSoundHash que é uma tabela Hash. Para usar este áudio basta usar o método playSound (int key) e passar como parâmetro a chave escolhida para o sinal de voz.

هشدارها: essa classe é utilisada para easil o parser do json retornado pelo banco de dados.

Seguem em anexo também os arquivos de voz utilizados.

O layout da aplicação consistia de um único botão que funcionava com o método از اجرا در MainActivity خارج شوید ، می توانید به سادگی یک برنامه کاربردی را برای یک مشاوره و راهنمایی بدون بانک راهنمایی کنید.

Qualquer dúvida adicional ou sugestão basta entrar em contato com o autor. Sugestões são semper bem-vindas =).

O código não está bem comentado ، mas acredito que as explicações acima devem ser suficientes para o entendimento do que está acontecendo.

مرحله 6: Sugestões De Continuação

Poderiamos integrar um sistema de localaização. از طریق Qualcomm iZat SDK می توانید سیستم خود را با استفاده از GNSS ، acelerômetro ، magnetrômetro ورودی ، و بدون پردازنده اولیه Qualcomm Snapdragon (ارائه شده برای خانه های اصلی) وارد کنید. No entanto، havia pouca documentação e needitava de testes mais demorados.

در مورد استفاده از حسگرهای مختلف فراصوت ، مشکلات زیادی در ارتباط با Dragonboard وجود دارد ، و در نتیجه می توانید از طریق آن تصمیم بگیرید. به هر حال، به عنوان bibliotecas jure presentes no kit de desvonvolvimento، elas possuem diversos exemplos para cada tipo de sensor.

توسعه دهندگان سایت Qualcomm وجود ندارند و به این ترتیب می توانند از 96 استفاده کنند ، و از این طریق به آموزش 96Boards no you tube بروید.