Google développe un outil d'IA pour la navigation Street View : StreetReaderAI, basé sur Gemini, qui transforme Street View en un système de navigation parlant et accessible. Le taux de réponse exacte aux questions a atteint 86 %. Actuellement, nous disposons de systèmes de navigation accessibles ; à l'avenir, il pourrait s'agir de guides touristiques alimentés par l'IA qui pourront vous aider à effectuer des enquêtes sur place, comme par exemple : « Aidez-moi à marcher de la station de métro à la bibliothèque, vérifiez s'il y a des obstacles en chemin et décrivez-moi à quoi ressemble l'entrée de la bibliothèque. » Il possède plusieurs fonctionnalités, dont la description de scènes par IA en temps réel. Gemini combine la position, l'orientation et d'autres informations géographiques de l'utilisateur dans la vue de rue virtuelle pour diffuser des rapports en temps réel sur les routes, les intersections et les points de repère. La deuxième fonctionnalité est AI Chat, un outil de dialogue à plusieurs tours qui mémorise chaque action de l'utilisateur. Vous pouvez poser des questions comme : « Y avait-il des places assises à l'arrêt de bus que je viens de visiter ? » ou toute autre question concernant le paysage actuel ou précédent et la géographie environnante. Grâce à Gemini Live, cette fonctionnalité permet l'interaction en temps réel, les appels de fonctions et la conservation temporaire de toutes les interactions au sein d'une même session. Elle prend en charge 1 million de contextes de jetons et environ 4 000 images de Street View. Les commandes comprennent des flèches gauche et droite pour tourner, et des flèches haut et bas pour avancer et reculer. Des commandes vocales sont également disponibles, fournissant des informations sur la direction et la distance à chaque étape. Lors de son test auprès de 11 personnes aveugles, AI Chat a été utilisé six fois plus fréquemment que AI Real-Time Scene Description, et il a donné des résultats corrects dans 86,3 % des 816 questions et réponses. #Navigation IA #Navigation IA pour les aveugles #Guide touristique IA
blog :