オープンソースの Phone Use プロジェクトは、コンピューターを必要としない、完全にモバイルベースの AI 自動化アシスタント、Roubao です。 AIは自然言語を使用することで、携帯電話を直接使用して、テイクアウトの注文、WeChatメッセージの送信、ナビゲーションなどの複雑なコマンドを実行できます。 彼らは、Kotlin を使用して Alibaba の MobileAgent を書き直し、Android デバイスでネイティブに実行されるネイティブ Android 言語である Kotlin を使用して、「スクリーンショット、AI 思考、クリック/スワイプ」のプロセス全体をアプリに書き込みました。 ADB コマンドではなく、Shizuku を使用してシステムレベルの権限を取得します。 初回起動時は、ワイヤレス デバッグ (Android 11 以降) を使用するか、コンピューターに接続した状態でコマンドを入力して、Shizuku サービスを有効にします。 今後、Meatball は「ADB レベル」の権限を持つようになり、ルートアクセスやコンピューター接続を必要とせずに、いつでもスクリーンショットを撮ったり、クリックをシミュレートしたりできるようになります。 VLM は、Tongyi Qianwen、OpenAI GPT-4V、Claude などのツールを使用して実装できます。 セキュリティ面では、支払いやパスワードなどの機密ページが検出されるとシステムは自動的に停止します。タスクの実行プロセス全体はフローティング ウィンドウに進行状況が表示され、いつでも手動でタスクを停止できます。 #電話の使用 #AI電話アシスタント
github：github.com/Turbo1123/roub…
