StreetReaderAI: 시각 장애인이 Google 스트리트 뷰 서비스를 자유롭게 이용할 수 있도록 지원 Google Research에서 접근 가능한 거리 보기를 위한 프로토타입 시스템을 공개했습니다. 시각적 이해, 지리 정보, 실시간 대화를 결합한 다중 모드 AI 시스템을 활용하여 음성 안내 및 대화형 가상 거리 보기 탐색을 가능하게 합니다. 시각 장애인이 대화형 방식으로 거리 보기 환경을 이해하고 탐색할 수 있도록 해줍니다. StreetReaderAI의 주요 기능은 다음과 같습니다. 실시간 음성 설명 – 시스템은 음성을 사용하여 주변의 거리, 교차로, 건물을 자동으로 설명할 수 있습니다. 지능형 대화 기능 - AI와 직접 대화하여 현재 장면이나 근처의 지리적 정보(예: "우리 앞에 있는 건물은 무엇입니까?")에 대해 질문할 수 있습니다. 접근 가능한 탐색 기능 – 음성이나 키보드를 사용하여 보기를 회전하거나, 앞으로 이동하거나, 위치를 전환할 수 있습니다. 마치 가상 세계를 자유롭게 걷는 것처럼 말이죠.
이는 두 가지 핵심 AI 하위 시스템으로 구성됩니다. AI 서술자(장면 서술자) AI 채팅(대화형 질문-답변 도우미) AI 설명자의 역할은 현재 거리 풍경에 대한 음성 설명을 자동으로 생성하는 것입니다. Google의 멀티모달 라이브 API를 기반으로 하는 xiaohu.ai/c/xiaohu-ai/st…용하여 스트리트 뷰 시스템과 상호 작용할 수 있습니다. 자세한 내용: https://t.co/urqm34eEOA