¡Increíble! Diseñé artesanalmente unas gafas guía con IA por menos de 150 RMB. Permiten navegar por caminos sin visibilidad, ayudar a cruzar la calle, reconocer objetos y proporcionar interacción de voz en tiempo real. La solución es de código abierto. Basado en el ESP32, combinado con modelos de IA y hardware, el sistema puede "ayudarme a cruzar la calle", proporcionando anuncios en tiempo real como "Hay un paso de cebra a 3 metros, el semáforo está en verde, puedes cruzar". La funcionalidad se puede ampliar; por ejemplo, se puede agregar una función para "encontrar parada de autobús" añadiendo código a workflow_blindpath.py. Otros usuarios también pueden ver simultáneamente el vídeo en tiempo real desde una perspectiva en primera persona utilizando sus teléfonos móviles u ordenadores, lo que permite la asistencia remota. Navegación en zonas ciegas, basada en YOLO para la identificación en tiempo real de caminos sin visibilidad, guía por voz inteligente, identificación de obstáculos y planificación de rutas para evitarlos, e identificación de giros bruscos y alerta anticipada. El sistema de asistencia para cruzar la calle incluye detección en tiempo real de la posición y dirección del paso de cebra, reconocimiento de semáforos, guía para que los usuarios se alineen con el centro del paso de cebra y avisos de voz que indican que es seguro cruzar cuando la luz se pone verde. Reconocimiento y recuperación de artículos: búsqueda inteligente de artículos, utilizando la detección de vocabulario abierto YOLO-E + seguimiento ByteTrack, combinado con la detección de manos MediaPipe para guiar la mano hacia el artículo y la detección de acciones de agarre de la mano para confirmar la recepción. Interacción de voz en tiempo real, basada en el reconocimiento de voz en tiempo real y el diálogo multimodal de Alibaba Cloud DashScope Paraformer. Este proyecto proviene del Laboratorio de Investigación de IA de Bilibili - Fan Ge #Gafas con guía de IA#Guía de IA
github：github.com/AI-FanGe/OpenA…
