vercel-labs/agent-desktop

Что это?

Ключевые возможности

• 01Возвращает снимки дерева доступности в формате JSON, где каждому элементу, доступному для действий, соответствует ref.
• 02Ref привязаны к снимку; устаревшие или неоднозначные цели приводят к ошибкам.
• 03По умолчанию действия с ref в headless-режиме не перемещают указатель и не перехватывают фокус.
• 04Поддерживает просмотр интерфейса, клики, ввод текста, управление окнами, буфером обмена и уведомлениями.
• 05В комплект входит библиотека C FFI для вызовов из других языков в том же процессе.

Сценарии использования

• Управление AI-агентом нативными настольными приложениями, у которых нет API.
• Автоматизация повторяющихся сценариев работы с GUI в macOS, Windows и Linux.
• Создание агентов для взаимодействия с компьютером, которые проверяют каждое действие по новому снимку.
• Встраивание автоматизации настольных приложений в другие программы с помощью библиотеки C.

Быстрый старт

1. 1

   Установите пакет глобально с помощью npm

   npm install -g agent-desktop
2. 2

   Проверьте установленную версию

   agent-desktop version
3. 3

   Предоставьте разрешение на универсальный доступ в macOS (см. руководство)

   agent-desktop permissions --guide
4. 4

   Сделайте интерактивный снимок приложения, например Finder

   agent-desktop snapshot --app Finder -i

Что важно знать

• !В macOS требуется разрешение на универсальный доступ, а в Linux необходим графический сеанс с at-spi2-core.
• !Некоторые функции ограничены платформой: например, снимки экрана в Wayland и уведомления, доступные только в GNOME, в Linux.
• !Команды key-down, key-up, mouse-down и mouse-up пока не работают.
• !Снимки и скриншоты могут содержать конфиденциальные данные с рабочего стола, поэтому не добавляйте их в публичные журналы.

В подборках

Темы

Частые вопросы

Что такое agent-desktop?

CLI и библиотека C, с помощью которых AI-агенты могут читать интерфейс и управлять настольными приложениями в macOS, Windows и Linux через деревья доступности ОС. agent-desktop позволяет AI-агентам взаимодействовать с настольными приложениями без скриншотов и сопоставления пикселей. Снимок возвращает JSON со списком всех элементов, с которыми агент может взаимодействовать; у каждого элемента есть стабильный ref. Агент выполняет действие с ref, делает новый снимок, чтобы проверить результат, и повторяет цикл. При этом сам цикл принятия решений остаётся внутри агента.

agent-desktop можно использовать бесплатно? Какая у него лицензия?

agent-desktop распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

agent-desktop всё ещё поддерживается?

Активно поддерживается. Последний коммит в agent-desktop — 7 нояб. 2026 г..

Для чего можно использовать agent-desktop?

Управление AI-агентом нативными настольными приложениями, у которых нет API. Автоматизация повторяющихся сценариев работы с GUI в macOS, Windows и Linux. Создание агентов для взаимодействия с компьютером, которые проверяют каждое действие по новому снимку. Встраивание автоматизации настольных приложений в другие программы с помощью библиотеки C.

Как установить agent-desktop?

Установите пакет глобально с помощью npm: npm install -g agent-desktop Проверьте установленную версию: agent-desktop version Предоставьте разрешение на универсальный доступ в macOS (см. руководство): agent-desktop permissions --guide Сделайте интерактивный снимок приложения, например Finder: agent-desktop snapshot --app Finder -i

Где скачать agent-desktop?

Исходный код и инструкции по установке — на GitHub: https://github.com/vercel-labs/agent-desktop