Repolode
openclaw

openclaw/Peekaboo

CLI и приложение в строке меню для macOS: захват экрана и окон, анализ элементов интерфейса и автоматизация кликов и ввода текста для AI-агентов и MCP-клиентов.

Звёзды
5,352
Форки
411
Открытые issues
9
Последний коммит
вчера

Что это?

Peekaboo — это CLI-инструмент и приложение в строке меню для macOS, предназначенные для захвата экрана, анализа интерфейса с помощью Accessibility и автоматизации нативного UI. Типичный сценарий работы: посмотреть на текущий экран, выбрать элемент на структурированной карте интерфейса по непрозрачному ID, а затем взаимодействовать с ним — нажимать, вводить текст, нажимать клавиши, прокручивать содержимое или выполнять команды меню.

Помимо непосредственного использования CLI, Peekaboo включает агента, который планирует многошаговые задачи по инструкциям на естественном языке, и MCP-сервер, предоставляющий те же инструменты клиентам, таким как Codex, Claude Code и Cursor. Скриншоты можно отправлять настроенным локальным или удалённым AI-моделям, чтобы получать ответы на вопросы по изображению. Ввод можно направлять в конкретное окно в фоновом режиме, поэтому целевое приложение не обязательно выводить на передний план.

Для работы CLI и приложения требуется macOS 15 или новее, а для сборки из исходников — Swift 6.2 и Node.js 22. Перед использованием необходимо предоставить разрешения на запись экрана и Accessibility.

Ключевые возможности

  • 01Сохраняет снимки всего экрана, отдельного приложения или конкретного окна в файлы PNG.
  • 02Создаёт структурированную карту интерфейса запущенных приложений с ID элементов для выбора целей.
  • 03Нажимает, вводит текст, нажимает клавиши, прокручивает содержимое и перетаскивает элементы в конкретных элементах интерфейса или окнах.
  • 04Запускает агента, который преобразует запросы на естественном языке в многошаговые действия.
  • 05Предоставляет инструменты через MCP-сервер для AI-клиентов.
  • 06Поддерживает отправку ввода в целевые окна в фоновом режиме.

Сценарии использования

  • Поручить AI-агенту работать с нативными приложениями macOS, например Safari или Finder.
  • Автоматизировать повторяющиеся клики и ввод текста в десктопных программах без API для скриптов.
  • Создавать скриншоты приложений или окон для документации, тестирования и отчётов об ошибках.
  • Предоставить помощнику для написания кода с поддержкой MCP возможность проверять интерфейс и подтверждать его состояние.

Быстрый старт

  1. 1

    Установите CLI с помощью Homebrew

    brew install openclaw/tap/peekaboo
  2. 2

    Проверьте, какие разрешения есть у Peekaboo

    peekaboo permissions status
  3. 3

    Сделайте снимок экрана

    peekaboo see --no-elements --mode screen --path /tmp/peekaboo-screen.png
  4. 4

    Проанализируйте запущенное приложение, чтобы получить структурированную карту интерфейса

    peekaboo see --app Finder --json

Что важно знать

  • Требуется macOS 15 или новее, поэтому приложение не работает в Windows и Linux.
  • Для полноценной работы необходимо вручную предоставить разрешения на запись экрана и доступность.
  • Для запуска агентов нужно настроить провайдера моделей.

Темы

Частые вопросы

Что такое Peekaboo?
CLI и приложение в строке меню для macOS: захват экрана и окон, анализ элементов интерфейса и автоматизация кликов и ввода текста для AI-агентов и MCP-клиентов. Peekaboo — это CLI-инструмент и приложение в строке меню для macOS, предназначенные для захвата экрана, анализа интерфейса с помощью Accessibility и автоматизации нативного UI. Типичный сценарий работы: посмотреть на текущий экран, выбрать элемент на структурированной карте интерфейса по непрозрачному ID, а затем взаимодействовать с ним — нажимать, вводить текст, нажимать клавиши, прокручивать содержимое или выполнять команды меню.
Peekaboo можно использовать бесплатно? Какая у него лицензия?
Peekaboo распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
Peekaboo всё ещё поддерживается?
Активно поддерживается. Последний коммит в Peekaboo — 20 окт. 2026 г..
Для чего можно использовать Peekaboo?
Поручить AI-агенту работать с нативными приложениями macOS, например Safari или Finder. Автоматизировать повторяющиеся клики и ввод текста в десктопных программах без API для скриптов. Создавать скриншоты приложений или окон для документации, тестирования и отчётов об ошибках. Предоставить помощнику для написания кода с поддержкой MCP возможность проверять интерфейс и подтверждать его состояние.
Как установить Peekaboo?
Установите CLI с помощью Homebrew: brew install openclaw/tap/peekaboo Проверьте, какие разрешения есть у Peekaboo: peekaboo permissions status Сделайте снимок экрана: peekaboo see --no-elements --mode screen --path /tmp/peekaboo-screen.png Проанализируйте запущенное приложение, чтобы получить структурированную карту интерфейса: peekaboo see --app Finder --json
Где скачать Peekaboo?
Исходный код и инструкции по установке — на GitHub: https://github.com/openclaw/Peekaboo

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты