Repolode
Enviar
vercel-labs

vercel-labs/agent-desktop

CLI e biblioteca C que permitem a agentes de IA ler e operar apps de desktop no macOS, Windows e Linux por meio das árvores de acessibilidade do sistema operacional.

Ver no GitHubSite
Estrelas
18,740
Forks
1,367
Issues abertas
26
Último commit
há 18 horas

O que é?

agent-desktop permite que agentes de IA usem o computador pelo desktop sem depender de screenshots ou correspondência de pixels. Um snapshot retorna um JSON que lista todos os elementos sobre os quais o agente pode agir, cada um com uma ref estável. O agente atua sobre uma ref, tira um novo snapshot para verificar o resultado e repete o processo, mantendo o loop de decisão no próprio agente.

O projeto funciona no macOS, Windows e Linux e é distribuído como pacote npm com binários nativos para x64 e ARM64, ou como arquivos de release. O suporte a Linux depende do AT-SPI, e alguns recursos variam conforme a plataforma e o servidor gráfico, como X11 ou Wayland. Por padrão, as ações com ref são headless: não movem o ponteiro nem mudam o foco. A flag global --headed habilita a entrada física.

O projeto também inclui uma biblioteca C FFI para que programas possam chamá-lo no próprio processo, além de exemplos em Python no README. Snapshots e screenshots podem conter conteúdo privado do desktop; por isso, o projeto documenta como evitar que sejam incluídos em logs públicos.

Recursos principais

  • 01Retorna snapshots da árvore de acessibilidade em JSON, com uma ref para cada elemento acionável.
  • 02As refs estão vinculadas ao snapshot correspondente, e alvos obsoletos ou ambíguos são informados como erros.
  • 03Por padrão, ações headless com ref não movem o ponteiro nem assumem o foco.
  • 04Abrange observação, cliques, digitação, gerenciamento de janelas, área de transferência e notificações.
  • 05Inclui uma biblioteca C FFI para chamadas no próprio processo a partir de outras linguagens.

Casos de uso

  • Permitir que um agente de IA opere apps nativos de desktop sem API.
  • Automatizar fluxos de trabalho repetitivos na GUI em macOS, Windows ou Linux.
  • Criar agentes que usam o computador e verificam cada ação com um novo snapshot.
  • Integrar automação de desktop a outros programas por meio da biblioteca C.

Início rápido

  1. 1

    Instale o pacote globalmente com npm

    npm install -g agent-desktop
  2. 2

    Confira a versão instalada

    agent-desktop version
  3. 3

    Conceda a permissão de Acessibilidade no macOS (consulte o guia)

    agent-desktop permissions --guide
  4. 4

    Faça uma captura interativa de um app como o Finder

    agent-desktop snapshot --app Finder -i

Antes de usar

  • No macOS, é necessária a permissão de Acessibilidade; no Linux, é necessária uma sessão gráfica com at-spi2-core.
  • Alguns recursos são limitados pela plataforma, como capturas de tela no Wayland e notificações exclusivas do GNOME no Linux.
  • Os comandos key-down, key-up, mouse-down e mouse-up ainda não funcionam.
  • Snapshots e capturas de tela podem expor conteúdo privado da área de trabalho; não os inclua em registros públicos.

Em coleções

Frameworks e apps de agentes de IA open sourceServidores MCPFerramentas de CLI e terminal

Tópicos

#computer-use#accessibility#desktop-automation#ai-agents#cli#rust#mcp#accessibility-api#automation#computer-use-agent

Perguntas frequentes

O que é agent-desktop?
CLI e biblioteca C que permitem a agentes de IA ler e operar apps de desktop no macOS, Windows e Linux por meio das árvores de acessibilidade do sistema operacional. agent-desktop permite que agentes de IA usem o computador pelo desktop sem depender de screenshots ou correspondência de pixels. Um snapshot retorna um JSON que lista todos os elementos sobre os quais o agente pode agir, cada um com uma ref estável. O agente atua sobre uma ref, tira um novo snapshot para verificar o resultado e repete o processo, mantendo o loop de decisão no próprio agente.
agent-desktop é gratuito? Qual é a licença?
agent-desktop é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
agent-desktop ainda é mantido?
Manutenção ativa. O último commit de agent-desktop foi em 7 de nov. de 2026.
Para que posso usar agent-desktop?
Permitir que um agente de IA opere apps nativos de desktop sem API. Automatizar fluxos de trabalho repetitivos na GUI em macOS, Windows ou Linux. Criar agentes que usam o computador e verificam cada ação com um novo snapshot. Integrar automação de desktop a outros programas por meio da biblioteca C.
Como instalar agent-desktop?
Instale o pacote globalmente com npm: npm install -g agent-desktop Confira a versão instalada: agent-desktop version Conceda a permissão de Acessibilidade no macOS (consulte o guia): agent-desktop permissions --guide Faça uma captura interativa de um app como o Finder: agent-desktop snapshot --app Finder -i
Onde consigo agent-desktop?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/vercel-labs/agent-desktop

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados