Biblioteca Python para automatizar aplicativos com interface gráfica no Windows, controlando janelas, diálogos e controles pela Win32 API ou pelo MS UI Automation.
microsoft/UFO
O framework UFO³ da Microsoft coordena agentes de GUI em vários dispositivos, com decomposição de tarefas baseada em DAG, e inclui o UFO² como agente de desktop para Windows.
- Estrelas
- 10,178
- Forks
- 1,082
- Issues abertas
- 95
- Último commit
- há 8 dias
O que é?
UFO³ é um framework de pesquisa da Microsoft para executar agentes de IA em vários dispositivos ao mesmo tempo. Seu componente Galaxy, a camada de orquestração entre dispositivos, recebe uma solicitação do usuário, divide-a em um grafo acíclico direcionado (DAG) de tarefas, atribui cada tarefa a um dispositivo com base na plataforma e nos recursos disponíveis e executa tarefas independentes em paralelo. O grafo pode ser reescrito em tempo de execução à medida que os resultados chegam.
Os dispositivos se conectam ao orquestrador por meio de um protocolo baseado em WebSocket chamado AIP. O repositório inclui agentes de dispositivo para Windows, Linux e Android, com suporte a MCP (Model Context Protocol) para adicionar ferramentas a eles. UFO² é o componente mais antigo, voltado a um único dispositivo: um agente de desktop para Windows que combina UI Automation com chamadas de API e é descrito como a opção estável, com suporte de longo prazo, para automação exclusiva no Windows.
O projeto é configurado com arquivos YAML para o provedor de LLM (OpenAI, Azure OpenAI e outros) e para o conjunto de dispositivos. É necessário usar Python 3.10 ou 3.11.
Recursos principais
- 01Decompõe solicitações do usuário em um DAG de tarefas com dependências e executa tarefas independentes em paralelo.
- 02Atribui tarefas a dispositivos com base na plataforma e nos recursos disponíveis, entre Windows, Linux e Android.
- 03Permite editar o grafo de tarefas em tempo de execução, à medida que os resultados da execução chegam.
- 04Conecta dispositivos ao orquestrador pelo protocolo AIP baseado em WebSocket, com reconexão automática.
- 05Integra MCP para que os agentes de dispositivo possam usar ferramentas externas.
- 06Inclui UFO², um agente de desktop para Windows que combina controle de GUI com ações via API.
Casos de uso
- Executar um fluxo de trabalho que começa em um PC com Windows e continua em um servidor Linux ou celular Android.
- Automatizar tarefas rotineiras no desktop Windows com um único agente, usando UFO².
- Pesquisar ou criar protótipos de automação de GUI multiagente em dispositivos heterogêneos.
Início rápido
- 1
Instale as dependências do arquivo requirements
pip install -r requirements.txt - 2
Copie o modelo de configuração do agente Galaxy
copy config\galaxy\agent.yaml.template config\galaxy\agent.yaml - 3
Edite o arquivo de configuração, adicione suas chaves de API e registre seus dispositivos em config\galaxy\devices.yaml
- 4
Inicie os agentes dos dispositivos conforme descrito nos guias específicos de cada plataforma e, em seguida, execute o Galaxy
python -m galaxy --interactive
Antes de usar
- A configuração exige definir chaves de API de LLM e configurar vários agentes de dispositivos, o que dá trabalho.
- O framework multidispositivo do Galaxy está em desenvolvimento ativo e pode mudar.
- O agente UFO² para Windows é a opção estável; o suporte do Galaxy a dispositivos é limitado a Windows, Linux e Android.
Em coleções
Tópicos
Perguntas frequentes
- O que é UFO?
- O framework UFO³ da Microsoft coordena agentes de GUI em vários dispositivos, com decomposição de tarefas baseada em DAG, e inclui o UFO² como agente de desktop para Windows. UFO³ é um framework de pesquisa da Microsoft para executar agentes de IA em vários dispositivos ao mesmo tempo. Seu componente Galaxy, a camada de orquestração entre dispositivos, recebe uma solicitação do usuário, divide-a em um grafo acíclico direcionado (DAG) de tarefas, atribui cada tarefa a um dispositivo com base na plataforma e nos recursos disponíveis e executa tarefas independentes em paralelo. O grafo pode ser reescrito em tempo de execução à medida que os resultados chegam.
- UFO é gratuito? Qual é a licença?
- UFO é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
- UFO ainda é mantido?
- Manutenção ativa. O último commit de UFO foi em 30 de out. de 2026.
- Para que posso usar UFO?
- Executar um fluxo de trabalho que começa em um PC com Windows e continua em um servidor Linux ou celular Android. Automatizar tarefas rotineiras no desktop Windows com um único agente, usando UFO². Pesquisar ou criar protótipos de automação de GUI multiagente em dispositivos heterogêneos.
- Como instalar UFO?
- Instale as dependências do arquivo requirements: pip install -r requirements.txt Copie o modelo de configuração do agente Galaxy: copy config\galaxy\agent.yaml.template config\galaxy\agent.yaml Edite o arquivo de configuração, adicione suas chaves de API e registre seus dispositivos em config\galaxy\devices.yaml Inicie os agentes dos dispositivos conforme descrito nos guias específicos de cada plataforma e, em seguida, execute o Galaxy: python -m galaxy --interactive
- Onde consigo UFO?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/microsoft/UFO
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Um agente de IA que controla o Windows pela interface gráfica, lendo a árvore de UI Automation e deixando qualquer LLM escolher cliques, digitação e comandos.
Um runtime open source em que um agente rainha persistente planeja o trabalho, inicia agentes trabalhadores em paralelo e acompanha os resultados em um tracker SQLite compartilhado.
Assistente de IA multiagente e open source que executa tarefas na web, no desktop, em arquivos e em apps de chat como Telegram, Feishu e WeCom.
Framework de orquestração multiagente em Go, Rust e Python para executar agentes de LLM em produção, com workflows do Temporal e limites de tokens.
Um acelerador de referência baseado no Azure, no qual vários agentes de IA especializados planejam e executam tarefas organizacionais definidas pelo usuário, usando Microsoft Agent Framework e Azure AI Foundry.