Google está desarrollando una herramienta de IA para la navegación con Street View: StreetReaderAI, impulsada por Gemini, que convierte Street View en un sistema de navegación parlante y accesible. El índice de aciertos en las respuestas a las preguntas alcanzó el 86%. Actualmente, contamos con sistemas de navegación accesibles; en el futuro, podrían ser guías turísticos impulsados por IA los que puedan ayudarle a realizar inspecciones in situ, como por ejemplo: "Ayúdeme a caminar desde la estación de metro hasta la biblioteca, compruebe si hay obstáculos en el camino y dígame cómo es la entrada de la biblioteca". Cuenta con diversas funcionalidades, entre ellas la descripción de escenas mediante IA en tiempo real. Gemini combina la ubicación, la orientación y otra información geográfica del usuario en la vista de calle virtual para generar informes en tiempo real sobre carreteras, intersecciones y puntos de referencia. La segunda función es el chat con IA, una herramienta de diálogo multijugador que recuerda cada paso del usuario. Puedes hacer preguntas como "¿Había asientos libres en la parada de autobús que acabo de visitar?" o cualquier pregunta sobre el paisaje actual o anterior y la geografía circundante. Esta función, impulsada por Gemini Live, permite la interacción en tiempo real, las llamadas a funciones y el almacenamiento temporal de todas las interacciones dentro de una misma sesión. Admite un millón de contextos de tokens y aproximadamente 4000 imágenes de Street View. Los controles incluyen flechas izquierda y derecha para girar, y flechas arriba y abajo para avanzar y retroceder. También dispone de comandos de voz que proporcionan información sobre la dirección y la distancia en cada paso. En su prueba con 11 personas ciegas, el chat con IA se utilizó seis veces más frecuentemente que la descripción de escenas en tiempo real con IA, y acertó en el 86,3% de las 816 preguntas y respuestas. #Navegación con IA #Navegación con IA para personas ciegas #Guía turístico con IA
blog: