Biblioteca de Python para automatizar aplicaciones GUI de Windows mediante el control de ventanas, diálogos y controles con Win32 API o MS UI Automation.
microsoft/UFO
El framework UFO³ de Microsoft coordina agentes de GUI en varios dispositivos mediante la descomposición de tareas basada en DAG, y UFO² es su agente de escritorio para Windows.
- Estrellas
- 10,169
- Forks
- 1,082
- Issues abiertos
- 95
- Último commit
- hace 7 días
¿Qué es?
UFO³ es un framework de investigación de Microsoft para ejecutar agentes de IA en varios dispositivos a la vez. Su componente Galaxy, la capa de orquestación multidispositivo, recibe una solicitud del usuario, la desglosa en un grafo acíclico dirigido (DAG) de tareas, asigna cada tarea a un dispositivo según su plataforma y sus capacidades, y ejecuta en paralelo las tareas independientes. El grafo puede modificarse durante la ejecución a medida que llegan los resultados.
Los dispositivos se conectan al orquestador mediante un protocolo basado en WebSocket llamado AIP. El repositorio incluye agentes para dispositivos Windows, Linux y Android, con compatibilidad con MCP (Model Context Protocol) para añadirles herramientas. UFO² es el componente anterior para un solo dispositivo: un agente de escritorio para Windows que combina UI Automation con llamadas a API, y se describe como la opción estable y con soporte a largo plazo para la automatización exclusiva de Windows.
El proyecto se configura con archivos YAML para el proveedor de LLM (OpenAI, Azure OpenAI y otros) y para el conjunto de dispositivos. Se requiere Python 3.10 u 3.11.
Funciones clave
- 01Descompone las solicitudes del usuario en un DAG de tareas con dependencias y ejecuta en paralelo las tareas independientes.
- 02Asigna tareas a los dispositivos según su plataforma y sus capacidades, en Windows, Linux y Android.
- 03Permite editar el grafo de tareas durante la ejecución a medida que llegan los resultados.
- 04Conecta los dispositivos al orquestador mediante el protocolo AIP basado en WebSocket, con reconexión automática.
- 05Integra MCP para que los agentes de dispositivos puedan usar herramientas externas.
- 06Incluye UFO², un agente de escritorio para Windows que combina el control de GUI con acciones mediante API.
Casos de uso
- Ejecutar un flujo de trabajo que empieza en una PC con Windows y continúa en un servidor Linux o un teléfono Android.
- Automatizar tareas habituales del escritorio de Windows con un único agente mediante UFO².
- Investigar o crear prototipos de automatización de GUI con varios agentes en dispositivos heterogéneos.
Inicio rápido
- 1
Instala las dependencias desde el archivo requirements
pip install -r requirements.txt - 2
Copia la plantilla de configuración del agente de Galaxy
copy config\galaxy\agent.yaml.template config\galaxy\agent.yaml - 3
Edita el archivo de configuración, añade tus claves de API y registra tus dispositivos en config\galaxy\devices.yaml
- 4
Inicia los agentes de los dispositivos según las guías específicas de cada plataforma y, después, ejecuta Galaxy
python -m galaxy --interactive
Antes de usarlo
- La configuración requiere añadir claves de API de LLM y configurar varios agentes de dispositivos, lo que lleva tiempo.
- El framework multidispositivo de Galaxy está en desarrollo activo y puede cambiar.
- El agente UFO² para Windows es la opción estable; la compatibilidad de Galaxy con dispositivos se limita a Windows, Linux y Android.
En colecciones
Temas
Preguntas frecuentes
- ¿Qué es UFO?
- El framework UFO³ de Microsoft coordina agentes de GUI en varios dispositivos mediante la descomposición de tareas basada en DAG, y UFO² es su agente de escritorio para Windows. UFO³ es un framework de investigación de Microsoft para ejecutar agentes de IA en varios dispositivos a la vez. Su componente Galaxy, la capa de orquestación multidispositivo, recibe una solicitud del usuario, la desglosa en un grafo acíclico dirigido (DAG) de tareas, asigna cada tarea a un dispositivo según su plataforma y sus capacidades, y ejecuta en paralelo las tareas independientes. El grafo puede modificarse durante la ejecución a medida que llegan los resultados.
- ¿UFO es gratuito? ¿Qué licencia tiene?
- UFO es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿UFO sigue mantenido?
- Mantenimiento activo. El último commit de UFO fue el 30 oct 2026.
- ¿Para qué puedo usar UFO?
- Ejecutar un flujo de trabajo que empieza en una PC con Windows y continúa en un servidor Linux o un teléfono Android. Automatizar tareas habituales del escritorio de Windows con un único agente mediante UFO². Investigar o crear prototipos de automatización de GUI con varios agentes en dispositivos heterogéneos.
- ¿Cómo se instala UFO?
- Instala las dependencias desde el archivo requirements: pip install -r requirements.txt Copia la plantilla de configuración del agente de Galaxy: copy config\galaxy\agent.yaml.template config\galaxy\agent.yaml Edita el archivo de configuración, añade tus claves de API y registra tus dispositivos en config\galaxy\devices.yaml Inicia los agentes de los dispositivos según las guías específicas de cada plataforma y, después, ejecuta Galaxy: python -m galaxy --interactive
- ¿Dónde consigo UFO?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/microsoft/UFO
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Agente de IA que controla Windows desde la interfaz gráfica: lee el árbol de UI Automation y permite que cualquier LLM elija qué hacer.
Un runtime de código abierto donde un agente queen persistente planifica el trabajo, crea agentes worker en paralelo y registra los resultados en un tracker SQLite compartido.
Asistente de IA multiagente de código abierto que ejecuta tareas en la web, el escritorio, archivos y apps de chat como Telegram, Feishu y WeCom.
Acelerador de referencia basado en Azure en el que varios agentes de IA especializados planifican y ejecutan tareas organizativas definidas por el usuario, con Microsoft Agent Framework y Azure AI Foundry.
Stack de agentes de IA multimodales de código abierto de ByteDance, con CLI y Web UI (Agent TARS) y una app de agente de escritorio con GUI (UI-TARS Desktop).