Génial ! J'ai fabriqué à la main des lunettes de guidage à intelligence artificielle pour moins de 150 RMB. Elles peuvent guider les piétons dans les passages sans visibilité, aider à traverser la rue, reconnaître les objets et permettre une interaction vocale en temps réel. La solution est open source. Basé sur l'ESP32, combiné à des modèles d'IA et à du matériel, le système peut « m'aider à traverser la route » en fournissant des annonces en temps réel telles que « Il y a un passage piéton à 3 mètres devant, le feu est vert, vous pouvez traverser. » Les fonctionnalités peuvent être étendues ; par exemple, une fonction « trouver un arrêt de bus » peut être ajoutée en ajoutant du code au fichier workflow_blindpath.py. D'autres peuvent également visionner simultanément la vidéo en temps réel, du point de vue d'une personne, à l'aide de leurs téléphones portables ou de leurs ordinateurs, ce qui permet une assistance à distance. Navigation sur pavés sans visibilité, basée sur YOLO pour l'identification en temps réel des voies sans visibilité, le guidage vocal intelligent, l'identification des obstacles et la planification d'itinéraires d'évitement d'obstacles, ainsi que l'identification des virages serrés et l'avertissement préalable. L'assistance à la traversée comprend la détection en temps réel de la position et de la direction du passage piéton, la reconnaissance des feux de circulation, des indications pour que les utilisateurs s'alignent avec le centre du passage piéton et des messages vocaux indiquant qu'il est possible de traverser en toute sécurité lorsque le feu passe au vert. Reconnaissance et récupération d'objets : recherche intelligente d'objets, utilisant la détection de vocabulaire ouvert YOLO-E + le suivi ByteTrack, combinée à la détection de la main MediaPipe pour guider la main vers l'objet, et détection des actions de préhension de la main pour confirmer la réception. Interaction vocale en temps réel, basée sur la reconnaissance vocale en temps réel et le dialogue multimodal d'Alibaba Cloud DashScope Paraformer. Ce projet est issu du laboratoire de recherche en IA de Bilibili - Fan Ge #Lunettes de guidage IA#Guide IA
github：github.com/AI-FanGe/OpenA…
