Repolode
Enviar
Jeomon

Jeomon/Windows-Use

Um agente de IA que controla o Windows pela interface gráfica, lê a tela com UI Automation e usa qualquer LLM para clicar, digitar e executar tarefas.

Alternativa open source a:Microsoft Power Automate DesktopUiPathAutomation Anywhere

Ver no GitHub
Estrelas
470
Forks
63
Issues abertas
3
Último commit
há 26 dias

O que é?

Windows-Use é um agente de IA em Python que opera o Windows pela interface gráfica. Ele lê a tela usando a API Windows UI Automation, em vez de um modelo de visão computacional, e depois usa um LLM para decidir em qual elemento clicar, onde digitar, o que rolar ou qual ação executar em seguida. Você informa uma tarefa em inglês simples, e ele realiza as etapas.

O agente inclui ferramentas essenciais para ações com mouse e teclado, abertura e redimensionamento de janelas, execução de comandos do PowerShell, extração de texto de páginas da web e gerenciamento de desktops virtuais. Um modo experimental adiciona leitura e gravação de arquivos, memória persistente em Markdown e ações para selecionar e editar vários itens. Ele é compatível com vários provedores de LLM, incluindo Anthropic, OpenAI, Google, Ollama e Groq, e pode ser usado pelo CLI do terminal ou por uma API Python com chamadas síncronas e assíncronas.

Como o agente pode modificar arquivos e configurações do sistema, o projeto não oferece sandbox e recomenda executá-lo em uma máquina virtual ou no Windows Sandbox.

Recursos principais

  • 01Lê a tela pela API Windows UI Automation, sem precisar de um modelo de visão.
  • 02É compatível com 14 provedores de LLM, incluindo Anthropic, OpenAI, Google e Ollama.
  • 03Controla mouse, teclado, janelas e desktops virtuais.
  • 04Executa comandos do PowerShell e lê os resultados.
  • 05Oferece um CLI de terminal e APIs Python síncronas e assíncronas.
  • 06Inclui entrada e saída de voz opcionais por meio de provedores de STT e TTS.

Casos de uso

  • Automatizar tarefas repetitivas em aplicativos do Windows que não têm API.
  • Criar protótipos de agentes de IA que operam softwares nativos do Windows.
  • Executar fluxos de trabalho com interface gráfica em uma VM descartável para testes ou pesquisa.

Tópicos

#ai-agent#windows#automation#llm#ui-automation#gui-automation#python

Perguntas frequentes

O que é Windows-Use?
Um agente de IA que controla o Windows pela interface gráfica, lê a tela com UI Automation e usa qualquer LLM para clicar, digitar e executar tarefas. Windows-Use é um agente de IA em Python que opera o Windows pela interface gráfica. Ele lê a tela usando a API Windows UI Automation, em vez de um modelo de visão computacional, e depois usa um LLM para decidir em qual elemento clicar, onde digitar, o que rolar ou qual ação executar em seguida. Você informa uma tarefa em inglês simples, e ele realiza as etapas.
Windows-Use é gratuito? Qual é a licença?
Windows-Use é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
Windows-Use ainda é mantido?
Manutenção ativa. O último commit de Windows-Use foi em 23 de set. de 2026.
Para que posso usar Windows-Use?
Automatizar tarefas repetitivas em aplicativos do Windows que não têm API. Criar protótipos de agentes de IA que operam softwares nativos do Windows. Executar fluxos de trabalho com interface gráfica em uma VM descartável para testes ou pesquisa.
Onde consigo Windows-Use?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/Jeomon/Windows-Use

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados