一款 macOS 命令行工具兼 Claude Code、Codex 技能,可在屏幕上绘制大箭头和文字标牌,帮助指引用户点击目标。
lycorp-jp/sim-use
让 AI 智能体观察并操作 iOS 模拟器和 Android 模拟器/设备屏幕的命令行工具。
- Star
- 1,447
- Fork
- 104
- 未关闭 Issue
- 23
- 最近提交
- 6小时前
这是什么?
sim-use 是一个跨平台命令行工具,让 AI 智能体能够读取并控制移动设备屏幕。`ui` 命令会把当前屏幕转换为紧凑的无障碍元素文本大纲,每个元素带有 @9 这样的短别名,随后使用 `tap @9` 即可直接操作该元素,无需手动指定坐标。iOS 模拟器与 Android 模拟器或真机共用同一套命令和参数,便于编写一套观察、操作、验证的循环流程。
在 iOS 上,它基于苹果的 Accessibility API 和模拟器 HID 通道工作,并为每台设备提供后台守护进程以降低单次调用的启动开销;在 Android 上,它通过 adb 端口转发与设备上的桥接 APK 通信。此外还提供文本输入、粘贴、手势、硬件按键、截图、视频录制与推流、应用状态检查以及本地网页 Viewer。对物理 iPhone 和 iPad 的支持仍处于实验阶段,目前仅包括基于无障碍的界面读取、元素点击和截图。
项目使用 Swift 编写,需在 macOS 14 及以上版本从源码构建,也可通过 Homebrew 安装,并附带可安装到 AI 客户端的智能体技能。
核心功能
- 01将屏幕转换为节省 token 的无障碍元素大纲,并提供 @N 别名。
- 02无需坐标,可通过别名、无障碍 ID 或标签点击元素。
- 03iOS 模拟器与 Android 模拟器或真机共用同一套命令。
- 04支持 JSON 输出,便于脚本和智能体循环调用。
- 05可录制视频与 GIF,并支持 iOS 与 Android 的 H.264 推流。
- 06内置本地网页 Viewer,用于查看无障碍树结构。
适用场景
- 让 AI 编程智能体在模拟器上验证自己构建的应用界面。
- 编写在 iOS 与 Android 上行为一致的自动化界面测试。
- 通过命令行录制移动应用操作流程的演示 GIF 或视频。
- 检查应用向无障碍服务暴露了哪些元素。
快速上手
- 1
添加 Homebrew tap
brew tap lycorp-jp/tap - 2
用 Homebrew 安装 sim-use
brew install lycorp-jp/tap/sim-use - 3
检查 CLI 是否可以运行
sim-use --help
使用前须知
- iOS Simulator 功能需要 macOS;从源码构建需要 macOS 14+ 和 Xcode。
- 从源码构建需要先在本地用 ./scripts/build.sh dev 生成体积较大的 idb XCFrameworks。
- Linux 仅支持 Android 后端;iOS 命令、视频录制和 init 仅限 macOS。
- 物理 iPhone 和 iPad 支持仍是实验性的,只涵盖部分命令。
标签
常见问题
- sim-use 是什么?
- 让 AI 智能体观察并操作 iOS 模拟器和 Android 模拟器/设备屏幕的命令行工具。 sim-use 是一个跨平台命令行工具,让 AI 智能体能够读取并控制移动设备屏幕。`ui` 命令会把当前屏幕转换为紧凑的无障碍元素文本大纲,每个元素带有 @9 这样的短别名,随后使用 `tap @9` 即可直接操作该元素,无需手动指定坐标。iOS 模拟器与 Android 模拟器或真机共用同一套命令和参数,便于编写一套观察、操作、验证的循环流程。
- sim-use 可以免费使用吗?用的什么许可证?
- sim-use 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
- sim-use 还在维护吗?
- 活跃维护中。sim-use 最近一次提交是在 2026年10月21日。
- sim-use 适合用来做什么?
- 让 AI 编程智能体在模拟器上验证自己构建的应用界面。 编写在 iOS 与 Android 上行为一致的自动化界面测试。 通过命令行录制移动应用操作流程的演示 GIF 或视频。 检查应用向无障碍服务暴露了哪些元素。
- sim-use 怎么安装和运行?
- 添加 Homebrew tap: brew tap lycorp-jp/tap 用 Homebrew 安装 sim-use: brew install lycorp-jp/tap/sim-use 检查 CLI 是否可以运行: sim-use --help
- 在哪里获取 sim-use?
- 源代码和安装说明在 GitHub 上:https://github.com/lycorp-jp/sim-use
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
面向 AI 智能体的浏览器自动化命令行工具,基于原生 Rust 实现,可通过快照和元素引用操作 Chrome。
开源 Python 框架,让 LLM 智能体通过自然语言、CLI 或 Python API 操控 Android 和 iOS 手机。
为 Claude Code 提供智能体、命令、配置、钩子和 MCP 集成模板的 CLI 工具与目录。
一个用 Rust 编写的 Git worktree 管理 CLI,可按分支名切换和管理工作树,适合并行运行多个 AI 编程代理。
为 AI 编程代理提供构建、测试和运行 iOS/macOS Xcode 项目工具的 MCP 服务与命令行工具。