O projeto de código aberto Phone Use é um assistente de automação de IA totalmente baseado em dispositivos móveis que não requer computador: Roubao. Utilizando linguagem natural, a IA pode usar diretamente telefones celulares para executar comandos complexos, como pedir comida para viagem, enviar mensagens pelo WeChat e navegar pelos sistemas de navegação. Eles reescreveram o MobileAgent da Alibaba usando Kotlin e transformaram todo o processo de "captura de tela, raciocínio de IA, clique/deslize" em um aplicativo usando Kotlin, a linguagem nativa do Android, que roda nativamente em dispositivos Android. Obtenção de privilégios de nível de sistema usando o Shizuku, e não por meio de comandos ADB. Ao iniciar o dispositivo pela primeira vez, basta usar a depuração sem fio (Android 11 ou superior) ou digitar um comando enquanto estiver conectado a um computador para ativar o serviço Shizuku. A partir de agora, o Meatball terá permissões de "nível ADB", permitindo que ele tire screenshots e simule cliques a qualquer momento, sem precisar de acesso root ou conexão com um computador. O VLM pode ser implementado usando ferramentas como Tongyi Qianwen, OpenAI GPT-4V e Claude. Em termos de segurança, o sistema será interrompido automaticamente quando páginas sensíveis, como páginas de pagamento ou senhas, forem detectadas; todo o processo de execução da tarefa é visível, com uma janela flutuante exibindo o progresso; e a tarefa pode ser interrompida manualmente a qualquer momento. #uso do telefone #assistente de IA para telefone
github：github.com/Turbo1123/roub…
