Incrível! Eu mesmo criei um conjunto de óculos-guia com inteligência artificial por menos de 150 RMB. Ele consegue navegar em caminhos sem visibilidade, auxiliar na travessia da rua, reconhecer objetos e fornecer interação por voz em tempo real. A solução é de código aberto. Baseado no ESP32, combinado com modelos de IA e hardware, o sistema pode "me ajudar a atravessar a rua", fornecendo anúncios em tempo real, como "Há uma faixa de pedestres a 3 metros à frente, o sinal está verde, você pode atravessar". A funcionalidade pode ser expandida; por exemplo, uma função "encontrar ponto de ônibus" pode ser adicionada inserindo código no arquivo workflow_blindpath.py. Outras pessoas também podem visualizar o vídeo simultaneamente em tempo real, em primeira pessoa, usando seus celulares ou computadores, possibilitando assistência remota. Navegação em pavimentos cegos, baseada em YOLO para identificação em tempo real de caminhos sem visibilidade, orientação inteligente por voz, identificação de obstáculos e planejamento de rotas com desvio de obstáculos, além de identificação de curvas acentuadas e aviso prévio. O sistema de assistência na travessia oferece detecção em tempo real da posição e direção da faixa de pedestres, reconhecimento de semáforos, orientação para que os usuários se alinhem com o centro da faixa e avisos de voz indicando que é seguro atravessar quando o sinal ficar verde. Reconhecimento e recuperação de itens: busca inteligente de itens, usando detecção de vocabulário aberto YOLO-E + rastreamento ByteTrack, combinada com detecção de mãos MediaPipe para guiar a mão até o item e detecção de ações de preensão da mão para confirmar o recebimento. Interação por voz em tempo real, baseada no reconhecimento de fala em tempo real e diálogo multimodal do Alibaba Cloud DashScope Paraformer. Este projeto é do Laboratório de Pesquisa de IA da Bilibili - Fan Ge #Óculos de IA para Guias#Guia de IA
github：github.com/AI-FanGe/OpenA…
