바이트댄스, '두바오 모바일 어시스턴트' 기술 미리보기 버전 출시 화면 내용의 다중 모드 인식을 수행할 수 있습니다. 또한, 상호 작용이 가능하고 휴대폰의 여러 애플리케이션 간 작동도 지원합니다. 음성 깨우기, 휴대폰 측면의 AI 버튼 깨우기, 헤드폰 깨우기를 지원합니다. 게다가 기억력도 있습니다. 실시간 영상 통화를 지원하고, AI가 카메라로 촬영한 콘텐츠(예: 그림책)를 이해하고 실시간 이중 언어 설명 및 상호작용을 제공할 수 있습니다. 개인화된 메모리 기능: Doubao는 기기 내 메모리 기능을 갖추고 있어 과거 대화 내용과 화면 정보에서 주요 정보를 추출하고, 필요할 때 사용자를 적극적으로 지원할 수 있습니다. 일상생활의 추억: 메시지를 잊어버렸을 때, "내 차는 어디에 주차되어 있지?" (이전에 찍은 사진 기반), "픽업 코드는 뭐야?" (SMS 알림 기반), "내 고속철도 좌석 번호는 뭐야?" (티켓 구매 기록 기반)와 같이 물어볼 수 있습니다. 선호도 메모리: 사용자의 선호도(예: "반 고흐를 좋아한다")를 기억하고 향후 작업 계획에 이 선호도를 자동으로 적용합니다. 개인정보 보호: 로컬 데이터 처리 및 저장에 중점을 두고 있으며, 사용자는 언제든지 메모리 기능을 켜거나 끌 수 있습니다. 크로스 애플리케이션 전화 운영(앱 에이전트/전화 운영) 이것이 바로 이 제품의 핵심 차별화 요소입니다. AI가 휴대폰을 제어하여 인간의 행동(클릭, 타이핑, 스와이프)을 모방하고 지루한 작업을 자동으로 수행할 수 있습니다. 전체 네트워크에서의 가격 비교: 단일 명령("전체 네트워크에서의 가격 비교")으로 AI가 Taobao, JD.com, Pinduoduo 등 여러 앱을 자동으로 열고, 동일한 제품을 검색하고, 가격을 비교한 후, 가장 낮은 가격의 결제 페이지에 머물러 있습니다. 라이프스타일 서비스 자동화: 테슬라의 앞 트렁크를 자동으로 열고, 레스토랑을 예약하고, 팟캐스트 업데이트를 확인하고 목록에 추가하는 등. 사무 자동화: Lark/DingTalk에서 자동으로 휴가 신청서와 여행 승인을 제출하고, 티켓팅 소프트웨어와 연결하여 고속철도 티켓을 예약합니다. 멀티모달 생성 AIGC 기능은 시스템의 기본 애플리케이션에 직접 내장되어 있습니다. 지능형 사진 편집: 시스템 앨범에서 음성 명령("지나가는 사람 제거")을 사용하여 클라우드 모델을 호출하여 사진을 고품질로 제거하고 다시 그릴 수 있습니다. 프로 모드에서 휴대폰 작동하기 복잡하고 긴 체인 작업을 타겟으로 하는 고급 모드의 경우 GUI 에이전트(시뮬레이션 클릭)와 API 도구 호출을 결합하여 향상된 추론 기능을 제공합니다. 복잡한 작업 계획: 모호하고 여러 단계로 구성된 지침을 처리합니다. 예: "다음 달에 파리에 갈 거예요. 지도에서 좋아하는 레스토랑을 표시해 주시고, 제가 좋아하는 전시회가 있는 박물관 티켓을 예약해 주세요." 실행: AI가 자동으로 작업을 세분화합니다 -> 메모리 검색(사용자가 반 고흐를 좋아한다는 것을 알고 있음) -> 박물관 필터링(오르세 미술관) -> 지도에 지점 표시 -> 플랫폼 간 티켓 예매 -> 요약 메모 생성.
하지만 이 버전에는 휴대폰 제조업체와의 직접적인 협력이 필요합니다. 시스템 통합이 수행되었습니다 그렇지 않으면 많은 권한을 얻는 것이 불가능할 텐데, 이는 Apple이 해야 할 일입니다.