esp32-iphone-agent は無料で使えますか？ライセンスは？

esp32-iphone-agent は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

esp32-iphone-agent は今もメンテナンスされていますか？

活発にメンテナンス中。esp32-iphone-agent の最終コミットは 2026年10月19日です。

esp32-iphone-agent は何に使えますか？

Macや開発者アカウントを使わずに、iOSアプリを操作するAIエージェントのプロトタイプを作る。アラームの設定や各種設定の変更など、所有するiPhoneで繰り返し行う作業を自動化する。シミュレーターではなく実機を使って、コンピューター操作エージェントを研究する。別のエージェントによる分析に向けて、スマートフォン操作の実行トレースを収集する。

esp32-iphone-agent はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/onehumanbeing/esp32-iphone-agent

onehumanbeing/esp32-iphone-agent

Q: esp32-iphone-agent は今もメンテナンスされていますか？

活発にメンテナンス中。esp32-iphone-agent の最終コミットは 2026年10月19日 です。

7ドルのESP32-S3ボードで、実機のiPhoneをAIビジョンモデルから操作。実行時にPCは不要。

GitHub で見る

スター: 3,240
フォーク: 428
未解決の Issue: 14
最終コミット: 22 時間前

これは何？

ESP32 iPhone Agentは、AIモデルで実機のiPhoneを操作できるシステムです。ESP32-S3ボードはAirPlayレシーバーとして動作し、Wi-Fi経由でiPhoneの画面をミラーリングします。また、iPhoneからは標準的なUSBマウス兼キーボードとして認識されます。同じデバイス上のiPhoneアプリがミラーリング映像をデコードし、スクリーンショットをOpenAI互換のビジョンモデルに送信。モデルの応答に基づいて、タップ、スワイプ、文字入力、キー入力を実行します。

Mac、開発者アカウント、脱獄が利用できない環境を想定しています。ボードへのファームウェア書き込みとアプリのビルドには、一度だけXcodeを搭載したMacが必要ですが、エージェントの実行時には不要です。実行内容は毎回iPhoneに保存され、手順ごとに再生できます。また、別のエージェントによる分析用にトレースをエクスポートできます。

プロジェクトのライセンスはMITですが、UxPlayから移植されたファームウェアコンポーネントはGPL-3.0です。必要な環境はiOS 18以降とモバイルデータ通信です。エージェントの実行中はiPhoneのWi-Fiをボードのホットスポットが使用するためです。

主な機能

01AirPlayの画面ミラーリングでiPhoneの画面を受信し、H.264映像をBLE経由でアプリに転送します。
02USB HIDマウス兼キーボードとして動作し、AssistiveTouchを使ってポインターによるタップやスワイプを行います。
03vLLMやOllamaなどのセルフホストサーバーを含め、あらゆるOpenAI互換のビジョンモデルで動作します。
04プランナーとアクターの処理をバックグラウンドで実行し、ボードまたはミラーリング接続が切断されると一時停止し、復旧後に再開します。
05すべての実行内容を保存し、手順ごとの再生やスクリーンショット・アクションのエクスポートに対応します。

ユースケース

Macや開発者アカウントを使わずに、iOSアプリを操作するAIエージェントのプロトタイプを作る。
アラームの設定や各種設定の変更など、所有するiPhoneで繰り返し行う作業を自動化する。
シミュレーターではなく実機を使って、コンピューター操作エージェントを研究する。
別のエージェントによる分析に向けて、スマートフォン操作の実行トレースを収集する。

トピック

#ai-agent #esp32 #iphone #usb-hid #airplay #computer-use #llm #automation #esp32-s3

よくある質問

esp32-iphone-agent とは？: 7ドルのESP32-S3ボードで、実機のiPhoneをAIビジョンモデルから操作。実行時にPCは不要。 ESP32 iPhone Agentは、AIモデルで実機のiPhoneを操作できるシステムです。ESP32-S3ボードはAirPlayレシーバーとして動作し、Wi-Fi経由でiPhoneの画面をミラーリングします。また、iPhoneからは標準的なUSBマウス兼キーボードとして認識されます。同じデバイス上のiPhoneアプリがミラーリング映像をデコードし、スクリーンショットをOpenAI互換のビジョンモデルに送信。モデルの応答に基づいて、タップ、スワイプ、文字入力、キー入力を実行します。
esp32-iphone-agent は無料で使えますか？ライセンスは？: esp32-iphone-agent は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
esp32-iphone-agent は今もメンテナンスされていますか？: 活発にメンテナンス中。esp32-iphone-agent の最終コミットは 2026年10月19日です。
esp32-iphone-agent は何に使えますか？: Macや開発者アカウントを使わずに、iOSアプリを操作するAIエージェントのプロトタイプを作る。アラームの設定や各種設定の変更など、所有するiPhoneで繰り返し行う作業を自動化する。シミュレーターではなく実機を使って、コンピューター操作エージェントを研究する。別のエージェントによる分析に向けて、スマートフォン操作の実行トレースを収集する。
esp32-iphone-agent はどこで入手できますか？: ソースコードとインストール手順は GitHub にあります：https://github.com/onehumanbeing/esp32-iphone-agent

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。