Le projet open-source Phone Use est un assistant d'automatisation IA entièrement mobile qui ne nécessite aucun ordinateur : Roubao. Grâce au langage naturel, l'IA peut utiliser directement les téléphones portables pour exécuter des commandes complexes telles que commander des plats à emporter, envoyer des messages WeChat et effectuer une navigation. Ils ont réécrit MobileAgent d'Alibaba en utilisant Kotlin, et ont intégré l'ensemble du processus « capture d'écran, réflexion IA, clic/glissement » dans une application utilisant Kotlin, le langage natif d'Android, qui s'exécute nativement sur les appareils Android. Obtention des privilèges système via Shizuku, et non via les commandes ADB. Au premier lancement, utilisez simplement le débogage sans fil (Android 11+) ou saisissez une commande lorsque vous êtes connecté à un ordinateur pour activer le service Shizuku. Désormais, Meatball disposera de permissions « de niveau ADB », lui permettant de prendre des captures d’écran et de simuler des clics à tout moment, sans avoir besoin d’un accès root ni d’une connexion à un ordinateur. Le VLM peut être implémenté à l'aide d'outils tels que Tongyi Qianwen, OpenAI GPT-4V et Claude. En matière de sécurité, le système s'arrête automatiquement lorsque des pages sensibles telles que des pages de paiement ou des mots de passe sont détectées ; l'intégralité du processus d'exécution de la tâche est visible, avec une fenêtre flottante affichant la progression ; et la tâche peut être arrêtée manuellement à tout moment. #utilisationdutéléphone #AssistantTéléphoneIA
github：github.com/Turbo1123/roub…
