StreetReaderAI: Permitindo que pessoas cegas desfrutem livremente dos serviços do Google Street View. O Google Research revela um sistema protótipo para visualização de ruas acessível. Utiliza um sistema de IA multimodal que combina compreensão visual, informações geográficas e diálogo em tempo real para permitir a exploração virtual de ruas guiada por voz e em formato de conversa. Permite que usuários cegos ou com deficiência visual compreendam e explorem o ambiente do Street View de forma interativa. As principais funcionalidades do StreetReaderAI incluem: Descrição por voz em tempo real – O sistema pode descrever automaticamente as ruas, cruzamentos e edifícios ao seu redor usando a voz. Função de diálogo inteligente - Você pode conversar diretamente com a IA para perguntar sobre a cena atual ou informações geográficas próximas, como "Que prédio é aquele à nossa frente?"; Navegação acessível – Você pode usar a voz ou o teclado para girar a visualização, avançar ou trocar de local, como se estivesse caminhando livremente em um mundo virtual.
É composto por dois subsistemas principais de IA: Descritor de IA (descritor de cena) Chat com IA (Assistente interativo de perguntas e respostas) xiaohu.ai/c/xiaohu-ai/st…de IA é gerar automaticamente uma descrição em voz da vista atual da rua. O AI Chat, com tecnologia da API Multimodal Live do Google, permite que os usuários interajam com o sistema Street View usando linguagem natural. Detalhes: https://t.co/urqm34eEOA