vercel-labs/agent-desktop

这是什么？

核心功能

• 01以 JSON 返回无障碍树快照，每个可操作元素都带有 ref。
• 02ref 与所属快照绑定，过期或歧义的目标会返回明确错误。
• 03ref 操作默认无头执行，不移动指针也不抢占焦点。
• 04覆盖界面观察、点击输入、窗口管理、剪贴板和通知等操作。
• 05提供 C FFI 库，便于其他语言在进程内调用。

适用场景

• 让 AI 代理操作没有 API 的原生桌面应用。
• 在 macOS、Windows 或 Linux 上自动化重复的图形界面工作流。
• 构建每步操作后都通过新快照校验结果的电脑操作代理。
• 通过 C 库将桌面自动化能力嵌入其他程序。

快速上手

1. 1

   使用 npm 全局安装该包

   npm install -g agent-desktop
2. 2

   检查已安装的版本

   agent-desktop version
3. 3

   在 macOS 上授予辅助功能权限（参见指南）

   agent-desktop permissions --guide
4. 4

   对 Finder 等应用获取交互元素快照

   agent-desktop snapshot --app Finder -i

使用前须知

• !macOS 需要授予辅助功能权限，Linux 需要图形会话和 at-spi2-core。
• !部分功能受平台限制，例如 Linux 上的 Wayland 截图和仅限 GNOME 的通知。
• !key-down、key-up、mouse-down 和 mouse-up 命令目前尚不可用。
• !快照和截图可能包含私人桌面内容，请勿放入公开日志。

收录于专题

标签

常见问题

agent-desktop 是什么？

让 AI 代理通过系统无障碍树读取并操作 macOS、Windows 和 Linux 桌面应用的命令行工具与 C 库。 agent-desktop 让 AI 代理无需依赖截图或像素匹配，就能操作桌面应用。每次快照会以 JSON 返回所有可操作元素，并为每个元素分配稳定的 ref。代理对某个 ref 执行操作后，再重新获取快照确认结果，循环决策逻辑由代理自身控制。

agent-desktop 可以免费使用吗？用的什么许可证？

agent-desktop 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

agent-desktop 还在维护吗？

活跃维护中。agent-desktop 最近一次提交是在 2026年11月7日。

agent-desktop 适合用来做什么？

让 AI 代理操作没有 API 的原生桌面应用。 在 macOS、Windows 或 Linux 上自动化重复的图形界面工作流。 构建每步操作后都通过新快照校验结果的电脑操作代理。 通过 C 库将桌面自动化能力嵌入其他程序。

agent-desktop 怎么安装和运行？

使用 npm 全局安装该包: npm install -g agent-desktop 检查已安装的版本: agent-desktop version 在 macOS 上授予辅助功能权限（参见指南）: agent-desktop permissions --guide 对 Finder 等应用获取交互元素快照: agent-desktop snapshot --app Finder -i

在哪里获取 agent-desktop？

源代码和安装说明在 GitHub 上：https://github.com/vercel-labs/agent-desktop