Repolode
leeguooooo

leeguooooo/iphone-use

MCP経由でAIエージェントがUSBまたはWi-Fi接続の実機iPhoneを操作できるツールです。

スター
310
フォーク
34
未解決の Issue
3
最終コミット
21 時間前

これは何?

iphone-useは、AIエージェントが実機iPhoneを操作できるセルフホスト型ツールです。macOS上のデーモンが画面をアクセシビリティツリー(ピクセル画像ではなくテキスト)として読み取り、iPhoneにインストールした小型のXCTestランナーを通じてタップ、文字入力、スワイプを実行し、画面が落ち着いてから結果を返します。APIを公開していないアプリを含め、あらゆるアプリで動作し、USBまたはWi-Fi経由で操作できます。

エージェントは、Claude Code、Codex、Cursor、Claude DesktopなどのMCPクライアント向けMCPサーバー、またはHTTP APIを通じて接続します。各操作では実行されたかどうかが報告され、ほかの要素に覆われた要素へのタップは拒否されます。繰り返し行うタスクはフローとして保存でき、モデルなしで再生できます。同じデーモンではブラウザページとネイティブiOSアプリも利用でき、人が画面をリアルタイムで見ながら操作できます。

このプロジェクトの利用には、macOS 15以降を搭載したMac、Xcode、Developer Modeを有効にしたiOS 15以降のiPhoneが必要です。ライセンスはPolyForm Shield 1.0.0で、標準的なオープンソースではなく、ソース公開型のライセンスです。

主な機能

  • 01スクリーンショットを使わず、アクセシビリティツリーから画面の内容をテキストとして読み取ります。
  • 02APIのないアプリを含むあらゆるアプリで、タップ、文字入力、スワイプを実行します。
  • 03USBで接続できるほか、セットアップ後は暗号化トンネル経由でWi-Fi接続できます。
  • 04Claude Code、Codex、CursorなどのMCPクライアント向けMCPツールと、HTTP APIを提供します。
  • 05繰り返し行うタスクをフローとして保存し、モデルやトークンを使わずに再生できます。
  • 06画面のリアルタイム表示と手動操作に使えるブラウザページとネイティブiOSアプリを提供します。

ユースケース

  • Claude CodeやCodexに、アプリのデータの読み取りやメッセージの送信など、スマートフォン上の複数ステップのタスクを実行させる。
  • 実機iPhoneでログインやフローのテストを行い、どのステップで失敗したかを報告する。
  • ヘルスケアアプリやメモアプリなど、APIを提供していないアプリからデータをエクスポートする。
  • エージェントと、必要に応じて介入する人とで、1台のiPhoneを共有する。

クイックスタート

  1. 1

    インストールスクリプトを使って、Macにiphone-useをインストールする

    README の公式手順に従ってインストール
  2. 2

    エージェントが使える状態かどうか、iPhoneを確認する

    iphone-use doctor
  3. 3

    設定を開いて画面を読み取る、安全なチェックを実行する

    iphone-use try

使う前に知っておきたいこと

  • macOS 15以降を搭載したMacとXcode、Developer Modeを有効にしたiOS 15以降のiPhoneが必要です。
  • 初回セットアップにはUSBケーブルが必要です。
  • ライセンスはPolyForm Shield 1.0.0です。一部の商用利用が制限されるため、使用前に利用条件を確認してください。

トピック

よくある質問

iphone-use とは?
MCP経由でAIエージェントがUSBまたはWi-Fi接続の実機iPhoneを操作できるツールです。 iphone-useは、AIエージェントが実機iPhoneを操作できるセルフホスト型ツールです。macOS上のデーモンが画面をアクセシビリティツリー(ピクセル画像ではなくテキスト)として読み取り、iPhoneにインストールした小型のXCTestランナーを通じてタップ、文字入力、スワイプを実行し、画面が落ち着いてから結果を返します。APIを公開していないアプリを含め、あらゆるアプリで動作し、USBまたはWi-Fi経由で操作できます。
iphone-use は無料で使えますか?ライセンスは?
iphone-use は Other ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
iphone-use は今もメンテナンスされていますか?
活発にメンテナンス中。iphone-use の最終コミットは 2026年10月19日 です。
iphone-use は何に使えますか?
Claude CodeやCodexに、アプリのデータの読み取りやメッセージの送信など、スマートフォン上の複数ステップのタスクを実行させる。 実機iPhoneでログインやフローのテストを行い、どのステップで失敗したかを報告する。 ヘルスケアアプリやメモアプリなど、APIを提供していないアプリからデータをエクスポートする。 エージェントと、必要に応じて介入する人とで、1台のiPhoneを共有する。
iphone-use のインストール方法は?
インストールスクリプトを使って、Macにiphone-useをインストールする エージェントが使える状態かどうか、iPhoneを確認する: iphone-use doctor 設定を開いて画面を読み取る、安全なチェックを実行する: iphone-use try
iphone-use はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/leeguooooo/iphone-use

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト