Библиотека Python для автоматизации GUI-приложений Windows через управление окнами, диалогами и элементами интерфейса с помощью Win32 API или MS UI Automation.
microsoft/UFO
UFO³ от Microsoft координирует GUI-агентов на нескольких устройствах, разбивая задачи на DAG; UFO² — агент для рабочего стола Windows.
- Звёзды
- 10,169
- Форки
- 1,082
- Открытые issues
- 95
- Последний коммит
- 7 дней назад
Что это?
UFO³ — исследовательский фреймворк Microsoft для одновременного запуска AI-агентов на нескольких устройствах. Компонент Galaxy — уровень оркестрации для нескольких устройств — получает запрос пользователя, разбивает его на ориентированный ациклический граф (DAG) задач, назначает каждую задачу устройству с учётом его платформы и возможностей и запускает независимые задачи параллельно. По мере поступления результатов граф можно изменять во время выполнения.
Устройства подключаются к оркестратору через протокол AIP на базе WebSocket. Репозиторий поддерживает агенты для устройств на Windows, Linux и Android, а интеграция с MCP (Model Context Protocol) позволяет добавлять им инструменты. UFO² — более ранний компонент для одного устройства: агент для рабочего стола Windows, сочетающий UI Automation с вызовами API. Он описан как стабильный вариант с длительной поддержкой для автоматизации только в Windows.
Настройки провайдера LLM (OpenAI, Azure OpenAI и других) и пула устройств задаются в YAML-файлах. Требуется Python 3.10 или 3.11.
Ключевые возможности
- 01Разбивает запросы пользователя на DAG задач с зависимостями и запускает независимые задачи параллельно.
- 02Назначает задачи устройствам с учётом платформы и возможностей; поддерживаются Windows, Linux и Android.
- 03Позволяет изменять граф задач во время выполнения по мере поступления результатов.
- 04Подключает устройства к оркестратору через протокол AIP на базе WebSocket с автоматическим переподключением.
- 05Интегрирует MCP, чтобы агенты устройств могли использовать внешние инструменты.
- 06Включает UFO² — агент для рабочего стола Windows, сочетающий управление GUI с действиями через API.
Сценарии использования
- Запуск рабочего процесса на ПК с Windows с последующим продолжением на сервере Linux или телефоне Android.
- Автоматизация рутинных задач на рабочем столе Windows с помощью одного агента UFO².
- Исследование и прототипирование автоматизации GUI с несколькими агентами на устройствах разных типов.
Быстрый старт
- 1
Установите зависимости из файла requirements
pip install -r requirements.txt - 2
Скопируйте шаблон конфигурации агента Galaxy
copy config\galaxy\agent.yaml.template config\galaxy\agent.yaml - 3
Отредактируйте файл конфигурации, добавьте ключи API и зарегистрируйте устройства в config\galaxy\devices.yaml
- 4
Запустите агенты устройств согласно руководствам для соответствующих платформ, затем запустите Galaxy
python -m galaxy --interactive
Что важно знать
- Для настройки нужно указать ключи API LLM и настроить несколько агентов устройств, что требует времени и усилий.
- Мультиустройственный фреймворк Galaxy активно разрабатывается и может измениться.
- Агент UFO² для Windows — стабильный вариант; поддержка устройств в Galaxy ограничена Windows, Linux и Android.
В подборках
Темы
Частые вопросы
- Что такое UFO?
- UFO³ от Microsoft координирует GUI-агентов на нескольких устройствах, разбивая задачи на DAG; UFO² — агент для рабочего стола Windows. UFO³ — исследовательский фреймворк Microsoft для одновременного запуска AI-агентов на нескольких устройствах. Компонент Galaxy — уровень оркестрации для нескольких устройств — получает запрос пользователя, разбивает его на ориентированный ациклический граф (DAG) задач, назначает каждую задачу устройству с учётом его платформы и возможностей и запускает независимые задачи параллельно. По мере поступления результатов граф можно изменять во время выполнения.
- UFO можно использовать бесплатно? Какая у него лицензия?
- UFO распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- UFO всё ещё поддерживается?
- Активно поддерживается. Последний коммит в UFO — 30 окт. 2026 г..
- Для чего можно использовать UFO?
- Запуск рабочего процесса на ПК с Windows с последующим продолжением на сервере Linux или телефоне Android. Автоматизация рутинных задач на рабочем столе Windows с помощью одного агента UFO². Исследование и прототипирование автоматизации GUI с несколькими агентами на устройствах разных типов.
- Как установить UFO?
- Установите зависимости из файла requirements: pip install -r requirements.txt Скопируйте шаблон конфигурации агента Galaxy: copy config\galaxy\agent.yaml.template config\galaxy\agent.yaml Отредактируйте файл конфигурации, добавьте ключи API и зарегистрируйте устройства в config\galaxy\devices.yaml Запустите агенты устройств согласно руководствам для соответствующих платформ, затем запустите Galaxy: python -m galaxy --interactive
- Где скачать UFO?
- Исходный код и инструкции по установке — на GitHub: https://github.com/microsoft/UFO
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
AI-агент, который управляет Windows на уровне GUI: считывает дерево UI Automation, а любая LLM выбирает щелчки, ввод текста и команды.
Открытая среда выполнения: постоянный агент-королева планирует работу, запускает параллельных агентов-исполнителей и отслеживает результаты в общей базе SQLite.
Мультиагентный AI-ассистент с открытым исходным кодом для задач в интернете, на компьютере, с файлами и в чатах Telegram, Feishu и WeCom.
Референсный акселератор на базе Azure: специализированные AI-агенты планируют и выполняют задачи, заданные пользователем, используя Microsoft Agent Framework и Azure AI Foundry.
Мультимодальный стек AI-агентов с открытым исходным кодом от ByteDance: CLI и Web UI (Agent TARS), а также десктопное GUI-приложение-агент (UI-TARS Desktop).