Repolode
onehumanbeing

onehumanbeing/esp32-iphone-agent

用一块约 7 美元的 ESP32-S3 板子,让 AI 视觉模型直接操控真实 iPhone,运行时无需电脑。

Star
3,302
Fork
440
未关闭 Issue
14
最近提交
13小时前

这是什么?

ESP32 iPhone Agent 让 AI 模型直接操控一台真实的 iPhone。ESP32-S3 板子作为 AirPlay 接收端,通过 Wi-Fi 获取手机屏幕画面;同时它又被手机识别为标准的 USB 鼠标和键盘。同一台手机上的应用负责解码画面,把截图发给兼容 OpenAI 接口的视觉模型,并根据模型返回的结果执行点击、滑动、输入文字和按键等操作。

整个方案不需要 Mac、开发者账号或越狱。刷写固件和构建应用需要一次性使用带 Xcode 的 Mac,但运行时不需要。每次任务都会保存在手机上,可以逐步回放,也能导出截图和操作记录交给其他 Agent 分析。

项目采用 MIT 许可证,其中从 UxPlay 移植的固件部分为 GPL-3.0。运行要求 iOS 18 或更高版本,并且需要蜂窝网络:Agent 运行期间手机 Wi-Fi 连接的是板子的热点。

核心功能

  • 01通过 AirPlay 屏幕镜像接收 iPhone 画面,H.264 视频流经 BLE 转发给应用。
  • 02板子作为 USB HID 鼠标和键盘,配合 AssistiveTouch 实现点击和滑动。
  • 03兼容任何 OpenAI 接口的视觉模型,包括 vLLM、Ollama 等自部署服务。
  • 04规划与执行步骤在后台运行,板子或镜像连接断开时暂停并可从同一步恢复。
  • 05每次运行都会保存在手机上,支持逐步回放并导出截图和操作记录。

适用场景

  • 在没有 Mac 和开发者账号的条件下,验证能操作 iOS 应用的 AI Agent。
  • 自动完成自己手机上的重复操作,例如设置闹钟、修改系统设置。
  • 在真机而非模拟器上研究 computer-use 类 Agent。
  • 收集手机操作轨迹,供其他 Agent 分析。

标签

常见问题

esp32-iphone-agent 是什么?
用一块约 7 美元的 ESP32-S3 板子,让 AI 视觉模型直接操控真实 iPhone,运行时无需电脑。 ESP32 iPhone Agent 让 AI 模型直接操控一台真实的 iPhone。ESP32-S3 板子作为 AirPlay 接收端,通过 Wi-Fi 获取手机屏幕画面;同时它又被手机识别为标准的 USB 鼠标和键盘。同一台手机上的应用负责解码画面,把截图发给兼容 OpenAI 接口的视觉模型,并根据模型返回的结果执行点击、滑动、输入文字和按键等操作。
esp32-iphone-agent 可以免费使用吗?用的什么许可证?
esp32-iphone-agent 以 MIT 许可证开源。用于商业产品前,请先确认许可证条款。
esp32-iphone-agent 还在维护吗?
活跃维护中。esp32-iphone-agent 最近一次提交是在 2026年10月19日。
esp32-iphone-agent 适合用来做什么?
在没有 Mac 和开发者账号的条件下,验证能操作 iOS 应用的 AI Agent。 自动完成自己手机上的重复操作,例如设置闹钟、修改系统设置。 在真机而非模拟器上研究 computer-use 类 Agent。 收集手机操作轨迹,供其他 Agent 分析。
在哪里获取 esp32-iphone-agent?
源代码和安装说明在 GitHub 上:https://github.com/onehumanbeing/esp32-iphone-agent

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目