让 Claude Code、Codex 等 AI agent 通过 MCP 读取、点击、输入和滑动真实 iPhone 的操作。
onehumanbeing/esp32-iphone-agent
用一块约 7 美元的 ESP32-S3 板子,让 AI 视觉模型直接操控真实 iPhone,运行时无需电脑。
- Star
- 3,302
- Fork
- 440
- 未关闭 Issue
- 14
- 最近提交
- 13小时前
这是什么?
ESP32 iPhone Agent 让 AI 模型直接操控一台真实的 iPhone。ESP32-S3 板子作为 AirPlay 接收端,通过 Wi-Fi 获取手机屏幕画面;同时它又被手机识别为标准的 USB 鼠标和键盘。同一台手机上的应用负责解码画面,把截图发给兼容 OpenAI 接口的视觉模型,并根据模型返回的结果执行点击、滑动、输入文字和按键等操作。
整个方案不需要 Mac、开发者账号或越狱。刷写固件和构建应用需要一次性使用带 Xcode 的 Mac,但运行时不需要。每次任务都会保存在手机上,可以逐步回放,也能导出截图和操作记录交给其他 Agent 分析。
项目采用 MIT 许可证,其中从 UxPlay 移植的固件部分为 GPL-3.0。运行要求 iOS 18 或更高版本,并且需要蜂窝网络:Agent 运行期间手机 Wi-Fi 连接的是板子的热点。
核心功能
- 01通过 AirPlay 屏幕镜像接收 iPhone 画面,H.264 视频流经 BLE 转发给应用。
- 02板子作为 USB HID 鼠标和键盘,配合 AssistiveTouch 实现点击和滑动。
- 03兼容任何 OpenAI 接口的视觉模型,包括 vLLM、Ollama 等自部署服务。
- 04规划与执行步骤在后台运行,板子或镜像连接断开时暂停并可从同一步恢复。
- 05每次运行都会保存在手机上,支持逐步回放并导出截图和操作记录。
适用场景
- 在没有 Mac 和开发者账号的条件下,验证能操作 iOS 应用的 AI Agent。
- 自动完成自己手机上的重复操作,例如设置闹钟、修改系统设置。
- 在真机而非模拟器上研究 computer-use 类 Agent。
- 收集手机操作轨迹,供其他 Agent 分析。
标签
常见问题
- esp32-iphone-agent 是什么?
- 用一块约 7 美元的 ESP32-S3 板子,让 AI 视觉模型直接操控真实 iPhone,运行时无需电脑。 ESP32 iPhone Agent 让 AI 模型直接操控一台真实的 iPhone。ESP32-S3 板子作为 AirPlay 接收端,通过 Wi-Fi 获取手机屏幕画面;同时它又被手机识别为标准的 USB 鼠标和键盘。同一台手机上的应用负责解码画面,把截图发给兼容 OpenAI 接口的视觉模型,并根据模型返回的结果执行点击、滑动、输入文字和按键等操作。
- esp32-iphone-agent 可以免费使用吗?用的什么许可证?
- esp32-iphone-agent 以 MIT 许可证开源。用于商业产品前,请先确认许可证条款。
- esp32-iphone-agent 还在维护吗?
- 活跃维护中。esp32-iphone-agent 最近一次提交是在 2026年10月19日。
- esp32-iphone-agent 适合用来做什么?
- 在没有 Mac 和开发者账号的条件下,验证能操作 iOS 应用的 AI Agent。 自动完成自己手机上的重复操作,例如设置闹钟、修改系统设置。 在真机而非模拟器上研究 computer-use 类 Agent。 收集手机操作轨迹,供其他 Agent 分析。
- 在哪里获取 esp32-iphone-agent?
- 源代码和安装说明在 GitHub 上:https://github.com/onehumanbeing/esp32-iphone-agent
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
31034RustOther更新于 22小时前
一个能从经验中创建并改进技能的自我进化 AI 智能体,支持多种模型服务商,可通过命令行和即时通讯工具使用。
25.5万5.6万PythonMIT更新于 9小时前
一个让大模型自主操作 Android 手机与电脑的框架,可用自然语言下达任务。
71487PythonMIT更新于 7个月前
一个通过 Windows UI Automation 读取界面、由大模型决定点击与输入的 Windows 图形界面 AI 代理。
47263PythonMIT更新于 27天前
一款原生 macOS 应用,可创建软件虚拟显示器,供视觉类 AI 智能体在桌面应用中工作。
16212Objective-CMIT更新于 3天前
开源桌面 AI 协作助手,完成日常工作与安全审查,可使用自有模型密钥,关键操作需审批。
1.9万2628PythonMIT更新于 3天前