오픈 소스 Phone Use 프로젝트는 컴퓨터가 필요 없는 순수 모바일 기반 AI 자동화 도우미인 Roubao입니다. 인공지능은 자연어를 사용하여 배달 음식 주문, 위챗 메시지 전송, 길 안내와 같은 복잡한 명령을 휴대폰을 통해 직접 수행할 수 있습니다. 그들은 알리바바의 MobileAgent를 코틀린으로 다시 작성하고, "스크린샷, AI 사고, 클릭/스와이프" 프로세스 전체를 안드로이드 네이티브 언어인 코틀린으로 앱으로 구현하여 안드로이드 기기에서 네이티브로 실행되도록 했습니다. ADB 명령어를 사용하는 대신 Shizuku를 사용하여 시스템 수준 권한을 획득하는 방법. 처음 실행할 때 무선 디버깅(Android 11 이상)을 사용하거나 컴퓨터에 연결된 상태에서 명령어를 입력하여 Shizuku 서비스를 활성화하세요. 이제부터 Meatball은 "ADB 수준"의 권한을 갖게 되어 루트 액세스나 컴퓨터 연결 없이도 언제든지 스크린샷을 찍고 클릭을 시뮬레이션할 수 있습니다. VLM은 Tongyi Qianwen, OpenAI GPT-4V, Claude와 같은 도구를 사용하여 구현할 수 있습니다. 보안 측면에서, 시스템은 결제 페이지나 비밀번호와 같은 민감한 페이지가 감지되면 자동으로 작업을 중지합니다. 전체 작업 실행 과정은 진행 상황을 표시하는 플로팅 창을 통해 확인할 수 있으며, 언제든지 수동으로 작업을 중지할 수 있습니다. #휴대폰사용 #AI폰어시스턴트
깃허브: https://t.co/VkIcXZiej6
