Repolode
lycorp-jp

lycorp-jp/sim-use

让 AI 智能体观察并操作 iOS 模拟器和 Android 模拟器/设备屏幕的命令行工具。

Star
1,447
Fork
104
未关闭 Issue
23
最近提交
6小时前

这是什么?

sim-use 是一个跨平台命令行工具,让 AI 智能体能够读取并控制移动设备屏幕。`ui` 命令会把当前屏幕转换为紧凑的无障碍元素文本大纲,每个元素带有 @9 这样的短别名,随后使用 `tap @9` 即可直接操作该元素,无需手动指定坐标。iOS 模拟器与 Android 模拟器或真机共用同一套命令和参数,便于编写一套观察、操作、验证的循环流程。

在 iOS 上,它基于苹果的 Accessibility API 和模拟器 HID 通道工作,并为每台设备提供后台守护进程以降低单次调用的启动开销;在 Android 上,它通过 adb 端口转发与设备上的桥接 APK 通信。此外还提供文本输入、粘贴、手势、硬件按键、截图、视频录制与推流、应用状态检查以及本地网页 Viewer。对物理 iPhone 和 iPad 的支持仍处于实验阶段,目前仅包括基于无障碍的界面读取、元素点击和截图。

项目使用 Swift 编写,需在 macOS 14 及以上版本从源码构建,也可通过 Homebrew 安装,并附带可安装到 AI 客户端的智能体技能。

核心功能

  • 01将屏幕转换为节省 token 的无障碍元素大纲,并提供 @N 别名。
  • 02无需坐标,可通过别名、无障碍 ID 或标签点击元素。
  • 03iOS 模拟器与 Android 模拟器或真机共用同一套命令。
  • 04支持 JSON 输出,便于脚本和智能体循环调用。
  • 05可录制视频与 GIF,并支持 iOS 与 Android 的 H.264 推流。
  • 06内置本地网页 Viewer,用于查看无障碍树结构。

适用场景

  • 让 AI 编程智能体在模拟器上验证自己构建的应用界面。
  • 编写在 iOS 与 Android 上行为一致的自动化界面测试。
  • 通过命令行录制移动应用操作流程的演示 GIF 或视频。
  • 检查应用向无障碍服务暴露了哪些元素。

快速上手

  1. 1

    添加 Homebrew tap

    brew tap lycorp-jp/tap
  2. 2

    用 Homebrew 安装 sim-use

    brew install lycorp-jp/tap/sim-use
  3. 3

    检查 CLI 是否可以运行

    sim-use --help

使用前须知

  • iOS Simulator 功能需要 macOS;从源码构建需要 macOS 14+ 和 Xcode。
  • 从源码构建需要先在本地用 ./scripts/build.sh dev 生成体积较大的 idb XCFrameworks。
  • Linux 仅支持 Android 后端;iOS 命令、视频录制和 init 仅限 macOS。
  • 物理 iPhone 和 iPad 支持仍是实验性的,只涵盖部分命令。

标签

常见问题

sim-use 是什么?
让 AI 智能体观察并操作 iOS 模拟器和 Android 模拟器/设备屏幕的命令行工具。 sim-use 是一个跨平台命令行工具,让 AI 智能体能够读取并控制移动设备屏幕。`ui` 命令会把当前屏幕转换为紧凑的无障碍元素文本大纲,每个元素带有 @9 这样的短别名,随后使用 `tap @9` 即可直接操作该元素,无需手动指定坐标。iOS 模拟器与 Android 模拟器或真机共用同一套命令和参数,便于编写一套观察、操作、验证的循环流程。
sim-use 可以免费使用吗?用的什么许可证?
sim-use 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
sim-use 还在维护吗?
活跃维护中。sim-use 最近一次提交是在 2026年10月21日。
sim-use 适合用来做什么?
让 AI 编程智能体在模拟器上验证自己构建的应用界面。 编写在 iOS 与 Android 上行为一致的自动化界面测试。 通过命令行录制移动应用操作流程的演示 GIF 或视频。 检查应用向无障碍服务暴露了哪些元素。
sim-use 怎么安装和运行?
添加 Homebrew tap: brew tap lycorp-jp/tap 用 Homebrew 安装 sim-use: brew install lycorp-jp/tap/sim-use 检查 CLI 是否可以运行: sim-use --help
在哪里获取 sim-use?
源代码和安装说明在 GitHub 上:https://github.com/lycorp-jp/sim-use

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目