Repolode
openclaw

openclaw/Peekaboo

面向 macOS 的命令行工具与菜单栏应用,可截取屏幕和窗口、读取界面元素,并为 AI 代理或 MCP 客户端执行点击与输入。

Star
5,352
Fork
411
未关闭 Issue
9
最近提交
11小时前

这是什么?

Peekaboo 是一款 macOS 命令行工具兼菜单栏应用,用于屏幕截图、辅助功能界面检查和原生 UI 自动化。典型流程是先观察当前屏幕,从带有不透明元素 ID 的结构化界面地图中选取目标元素,再执行点击、输入、按键、滚动或菜单操作。

除了直接使用 CLI,它还内置一个可根据自然语言指令规划多步任务的 agent,并提供 MCP 服务器,把同样的工具开放给 Codex、Claude Code、Cursor 等客户端。截图可以发送给已配置的本地或远程 AI 模型做视觉问答。针对特定窗口的输入可在后台投递,目标应用无需切换到前台。

运行 CLI 和应用需要 macOS 15 或更高版本,从源码构建需要 Swift 6.2 和 Node.js 22。使用前需授予屏幕录制和辅助功能权限。

核心功能

  • 01可将整个屏幕、单个应用或指定窗口截图保存为 PNG 文件。
  • 02为运行中的应用生成带元素 ID 的结构化界面地图,便于精确定位。
  • 03可针对指定元素或窗口执行点击、输入、按键、滚动和拖拽。
  • 04内置 agent,可把自然语言请求转换为多步操作。
  • 05通过 MCP 服务器向 AI 客户端开放全部工具。
  • 06支持向指定窗口后台投递输入,无需应用切到前台。

适用场景

  • 让 AI 代理操作 Safari、Finder 等原生 macOS 应用。
  • 在没有脚本接口的桌面软件中自动化重复性点击和文本输入。
  • 为文档、测试或缺陷报告截取应用或窗口画面。
  • 让支持 MCP 的编码助手检查并验证界面状态。

快速上手

  1. 1

    用 Homebrew 安装命令行工具

    brew install openclaw/tap/peekaboo
  2. 2

    检查 Peekaboo 拥有的权限

    peekaboo permissions status
  3. 3

    截取屏幕截图

    peekaboo see --no-elements --mode screen --path /tmp/peekaboo-screen.png
  4. 4

    检查正在运行的应用,获取结构化的界面地图

    peekaboo see --app Finder --json

使用前须知

  • 需要 macOS 15 或更高版本,无法在 Windows 或 Linux 上运行。
  • 必须手动授予屏幕录制和辅助功能权限,才能完整使用。
  • Agent 运行需要配置模型提供方。

标签

常见问题

Peekaboo 是什么?
面向 macOS 的命令行工具与菜单栏应用,可截取屏幕和窗口、读取界面元素,并为 AI 代理或 MCP 客户端执行点击与输入。 Peekaboo 是一款 macOS 命令行工具兼菜单栏应用,用于屏幕截图、辅助功能界面检查和原生 UI 自动化。典型流程是先观察当前屏幕,从带有不透明元素 ID 的结构化界面地图中选取目标元素,再执行点击、输入、按键、滚动或菜单操作。
Peekaboo 可以免费使用吗?用的什么许可证?
Peekaboo 以 MIT 许可证开源。用于商业产品前,请先确认许可证条款。
Peekaboo 还在维护吗?
活跃维护中。Peekaboo 最近一次提交是在 2026年10月20日。
Peekaboo 适合用来做什么?
让 AI 代理操作 Safari、Finder 等原生 macOS 应用。 在没有脚本接口的桌面软件中自动化重复性点击和文本输入。 为文档、测试或缺陷报告截取应用或窗口画面。 让支持 MCP 的编码助手检查并验证界面状态。
Peekaboo 怎么安装和运行?
用 Homebrew 安装命令行工具: brew install openclaw/tap/peekaboo 检查 Peekaboo 拥有的权限: peekaboo permissions status 截取屏幕截图: peekaboo see --no-elements --mode screen --path /tmp/peekaboo-screen.png 检查正在运行的应用,获取结构化的界面地图: peekaboo see --app Finder --json
在哪里获取 Peekaboo?
源代码和安装说明在 GitHub 上:https://github.com/openclaw/Peekaboo

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目