Repolode
Enviar
openclaw

openclaw/Peekaboo

Uma CLI e um app de barra de menus para macOS que capturam telas e janelas de apps, inspecionam elementos da interface e automatizam cliques e digitação para agentes de IA ou clientes MCP.

Ver no GitHubSite
Estrelas
5,352
Forks
411
Issues abertas
9
Último commit
há 16 horas

O que é?

Peekaboo é uma ferramenta de linha de comando e um app de barra de menus para macOS voltado à captura de tela, inspeção de acessibilidade e automação nativa da interface. Um fluxo de trabalho típico observa a tela atual, seleciona um elemento em um mapa estruturado da interface com IDs opacos e, em seguida, interage com ele por meio de cliques, digitação, pressionamento de teclas, rolagem ou comandos de menu.

Além do uso direto pela CLI, o Peekaboo inclui um agente que planeja tarefas com várias etapas a partir de instruções em linguagem natural e um servidor MCP que disponibiliza as mesmas ferramentas para clientes como Codex, Claude Code e Cursor. As capturas de tela podem ser enviadas a modelos de IA locais ou remotos configurados para responder a perguntas visuais. É possível enviar comandos de entrada a uma janela específica em segundo plano, sem que o app de destino precise ficar em primeiro plano.

A CLI e o app exigem macOS 15 ou posterior, e as compilações a partir do código-fonte precisam de Swift 6.2 e Node.js 22. É necessário conceder as permissões de Gravação de Tela e Acessibilidade antes de usar o app.

Recursos principais

  • 01Captura a tela inteira, um app ou uma janela específica em arquivos PNG.
  • 02Cria um mapa estruturado da interface dos apps em execução, com IDs de elementos para direcionar ações.
  • 03Clica, digita, pressiona teclas, rola e arrasta elementos ou janelas específicos.
  • 04Executa um agente que transforma solicitações em linguagem natural em ações com várias etapas.
  • 05Disponibiliza suas ferramentas por meio de um servidor MCP para clientes de IA.
  • 06Permite enviar comandos de entrada em segundo plano a janelas específicas.

Casos de uso

  • Permitir que um agente de IA opere apps nativos do macOS, como Safari ou Finder.
  • Automatizar cliques repetitivos e a inserção de texto em softwares para desktop sem APIs de scripting.
  • Capturar imagens de apps ou janelas para documentação, testes ou relatórios de bugs.
  • Dar a um assistente de programação compatível com MCP a capacidade de inspecionar e verificar o estado da interface.

Início rápido

  1. 1

    Instale a CLI com o Homebrew

    brew install openclaw/tap/peekaboo
  2. 2

    Confira as permissões concedidas ao Peekaboo

    peekaboo permissions status
  3. 3

    Faça uma captura de tela

    peekaboo see --no-elements --mode screen --path /tmp/peekaboo-screen.png
  4. 4

    Inspecione um app em execução para obter um mapa estruturado da interface

    peekaboo see --app Finder --json

Antes de usar

  • Requer macOS 15 ou posterior, por isso não funciona no Windows nem no Linux.
  • É necessário conceder manualmente as permissões de Gravação de Tela e Acessibilidade para que funcione plenamente.
  • A execução de agentes requer um provedor de modelos configurado.

Tópicos

#macos#screenshots#automation#mcp#accessibility#swift#ai-agent#ai

Perguntas frequentes

O que é Peekaboo?
Uma CLI e um app de barra de menus para macOS que capturam telas e janelas de apps, inspecionam elementos da interface e automatizam cliques e digitação para agentes de IA ou clientes MCP. Peekaboo é uma ferramenta de linha de comando e um app de barra de menus para macOS voltado à captura de tela, inspeção de acessibilidade e automação nativa da interface. Um fluxo de trabalho típico observa a tela atual, seleciona um elemento em um mapa estruturado da interface com IDs opacos e, em seguida, interage com ele por meio de cliques, digitação, pressionamento de teclas, rolagem ou comandos de menu.
Peekaboo é gratuito? Qual é a licença?
Peekaboo é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
Peekaboo ainda é mantido?
Manutenção ativa. O último commit de Peekaboo foi em 20 de out. de 2026.
Para que posso usar Peekaboo?
Permitir que um agente de IA opere apps nativos do macOS, como Safari ou Finder. Automatizar cliques repetitivos e a inserção de texto em softwares para desktop sem APIs de scripting. Capturar imagens de apps ou janelas para documentação, testes ou relatórios de bugs. Dar a um assistente de programação compatível com MCP a capacidade de inspecionar e verificar o estado da interface.
Como instalar Peekaboo?
Instale a CLI com o Homebrew: brew install openclaw/tap/peekaboo Confira as permissões concedidas ao Peekaboo: peekaboo permissions status Faça uma captura de tela: peekaboo see --no-elements --mode screen --path /tmp/peekaboo-screen.png Inspecione um app em execução para obter um mapa estruturado da interface: peekaboo see --app Finder --json
Onde consigo Peekaboo?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/openclaw/Peekaboo

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados