StreetReaderAI: 視覚障碍者でもGoogleストリートビューサービスを自由に楽しめる Google Research が、アクセス可能なストリートビューのプロトタイプ システムを公開しました。 視覚的理解、地理情報、リアルタイムの対話を組み合わせたマルチモーダル AI システムを活用して、音声ガイドと会話による仮想ストリートビューの探索を可能にします。 これにより、視覚に障害のあるユーザーがインタラクティブな方法でストリートビュー環境を理解し、探索できるようになります。 StreetReaderAI の主な機能は次のとおりです。 リアルタイム音声説明 - システムは音声を使用して周囲の道路、交差点、建物を自動的に説明できます。 インテリジェントな対話機能 - AI と直接チャットして、「目の前にある建物は何ですか?」など、現在のシーンや近くの地理情報について質問できます。 アクセス可能なナビゲーション - 仮想世界を自由に歩くのと同じように、音声またはキーボードを使用してビューを回転したり、前進したり、場所を切り替えたりすることができます。
これは、2 つのコア AI サブシステムで構成されています。 AI ディスクリバー (シーン ディスクリバー) AIチャット（対話型質問応答アシスタント） AI Describerの役割は、現在のストリートビューの音声説明を自動生成することです。 Google のマルチモーダル ライブ xiaohu.ai/c/xiaohu-ai/st…ザーは自然言語を使用してストリートビュー システムと対話できます。 詳細: https://t.co/urqm34eEOA