simular-ai/Agent-S

O que é?

Recursos principais

• 01Opera aplicativos desktop e web usando mouse, teclado e tela, sem integrações específicas para cada app.
• 02É compatível com macOS, Windows e Linux.
• 03Funciona com modelos da OpenAI, Anthropic, Gemini, OpenRouter e vLLM.
• 04Usa um modelo de grounding separado (por exemplo, UI-TARS) para localizar elementos na tela.
• 05Disponibiliza uma CLI e um SDK Python; pode ser instalado com pip como gui-agents.
• 06Inclui um ambiente local opcional para executar código Python e Bash.

Casos de uso

• Automizar tarefas repetitivas em aplicativos desktop e web.
• Pesquisar agentes que usam o computador em nível de sistema operacional e avaliá-los no OSWorld.
• Criar agentes personalizados que controlam softwares com interface gráfica sem usar APIs.

Início rápido

1. 1

   Instale o pacote gui-agents com pip

   pip install gui-agents
2. 2

   Instale o tesseract (necessário para o pytesseract no macOS)

   brew install tesseract
3. 3

   Defina a chave de API do seu modelo como uma variável de ambiente

   export OPENAI_API_KEY=<YOUR_API_KEY>
4. 4

   Execute o Agent S3 pela CLI com um endpoint de modelo de grounding configurado

   agent_s --provider openai --model gpt-5-2025-08-07 --ground_provider huggingface --ground_url http://localhost:8080 --ground_model ui-tars-1.5-7b --grounding_width 1920 --grounding_height 1080

Antes de usar

• !É necessário um modelo de grounding, como o UI-TARS-1.5-7B, que exige um endpoint hospedado separado.
• !O agente controla o mouse e o teclado reais e foi projetado para configurações com um único monitor.
• !O ambiente de programação local opcional executa código arbitrário na sua máquina; use-o com cuidado.
• !A execução depende de chaves de API de modelos pagos de provedores como OpenAI ou Anthropic.

Tópicos

Perguntas frequentes

O que é Agent-S?

Framework open source de agentes para usar o computador, controlar a interface gráfica com mouse, teclado e tela e realizar tarefas em apps desktop e web. Agent S é um framework open source para criar agentes que usam o computador. Dada uma tarefa em linguagem natural, ele observa a tela e realiza o trabalho clicando, digitando e rolando em aplicativos comuns para desktop e web, sem exigir integrações com APIs nem scripts específicos para cada app.

Agent-S é gratuito? Qual é a licença?

Agent-S é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.

Agent-S ainda é mantido?

Manutenção ativa. O último commit de Agent-S foi em 8 de out. de 2026.

Para que posso usar Agent-S?

Automizar tarefas repetitivas em aplicativos desktop e web. Pesquisar agentes que usam o computador em nível de sistema operacional e avaliá-los no OSWorld. Criar agentes personalizados que controlam softwares com interface gráfica sem usar APIs.

Como instalar Agent-S?

Instale o pacote gui-agents com pip: pip install gui-agents Instale o tesseract (necessário para o pytesseract no macOS): brew install tesseract Defina a chave de API do seu modelo como uma variável de ambiente: export OPENAI_API_KEY=<YOUR_API_KEY> Execute o Agent S3 pela CLI com um endpoint de modelo de grounding configurado: agent_s --provider openai --model gpt-5-2025-08-07 --ground_provider huggingface --ground_url http://localhost:8080 --ground_model ui-tars-1.5-7b --grounding_width 1920 --grounding_height 1080

Onde consigo Agent-S?

O código-fonte e as instruções de instalação estão no GitHub: https://github.com/simular-ai/Agent-S