用 Python 自动化 Windows 图形界面的库,可操作窗口、对话框和控件。
microsoft/UFO
微软开源的 UFO³ 框架,用 DAG 任务编排协调多台设备上的 GUI 智能体,并以 UFO² 作为 Windows 端执行器。
- Star
- 10,174
- Fork
- 1,083
- 未关闭 Issue
- 95
- 最近提交
- 7天前
这是什么?
UFO³ 是微软的一个研究型框架,用于让 AI 智能体同时跨多台设备工作。其中的 Galaxy 组件是多设备编排层:接收用户请求后将其拆解为有向无环图(DAG)形式的任务,按平台和能力把每个任务分配到合适的设备,并让互不依赖的任务并行执行,运行过程中还会根据返回结果动态改写任务图。
设备与编排器之间通过名为 AIP 的 WebSocket 协议通信。仓库提供 Windows、Linux 和 Android 设备端智能体,并支持通过 MCP(Model Context Protocol)为其接入外部工具。UFO² 是更早的单机组件,是一个结合 UI Automation 与 API 调用的 Windows 桌面智能体,适合只需在 Windows 上做自动化的场景。
项目通过 YAML 文件配置大模型服务(支持 OpenAI、Azure OpenAI 等)和设备池,运行环境需要 Python 3.10 或 3.11。
核心功能
- 01将用户请求拆解为带依赖关系的任务 DAG,并并行执行互不依赖的任务。
- 02按平台和能力把任务分配到 Windows、Linux 或 Android 设备。
- 03执行结果返回后可在运行时动态调整任务图。
- 04通过基于 WebSocket 的 AIP 协议连接设备,支持断线自动重连。
- 05集成 MCP,让设备端智能体调用外部工具。
- 06自带 UFO² 桌面智能体,结合 GUI 操作与 API 调用完成 Windows 自动化。
适用场景
- 设计一个先在 Windows 电脑上执行、再转到 Linux 服务器或 Android 手机上继续的工作流。
- 借助 UFO² 用单个智能体自动化日常 Windows 桌面操作。
- 研究或原型验证跨异构设备的多智能体 GUI 自动化。
快速上手
- 1
从 requirements.txt 安装依赖
pip install -r requirements.txt - 2
复制 Galaxy 智能体配置模板
copy config\galaxy\agent.yaml.template config\galaxy\agent.yaml - 3
编辑配置文件添加 API 密钥,并在 config\galaxy\devices.yaml 中注册设备
- 4
按平台指南启动设备智能体,然后启动 Galaxy
python -m galaxy --interactive
使用前须知
- 安装需要配置 LLM API 密钥和多个设备智能体,设置较为繁琐。
- Galaxy 多设备框架仍在积极开发中,可能发生变化。
- UFO² Windows 智能体是较稳定的选项;Galaxy 目前仅支持 Windows、Linux 和 Android 设备。
收录于专题
标签
常见问题
- UFO 是什么?
- 微软开源的 UFO³ 框架,用 DAG 任务编排协调多台设备上的 GUI 智能体,并以 UFO² 作为 Windows 端执行器。 UFO³ 是微软的一个研究型框架,用于让 AI 智能体同时跨多台设备工作。其中的 Galaxy 组件是多设备编排层:接收用户请求后将其拆解为有向无环图(DAG)形式的任务,按平台和能力把每个任务分配到合适的设备,并让互不依赖的任务并行执行,运行过程中还会根据返回结果动态改写任务图。
- UFO 可以免费使用吗?用的什么许可证?
- UFO 以 MIT 许可证开源。用于商业产品前,请先确认许可证条款。
- UFO 还在维护吗?
- 活跃维护中。UFO 最近一次提交是在 2026年10月30日。
- UFO 适合用来做什么?
- 设计一个先在 Windows 电脑上执行、再转到 Linux 服务器或 Android 手机上继续的工作流。 借助 UFO² 用单个智能体自动化日常 Windows 桌面操作。 研究或原型验证跨异构设备的多智能体 GUI 自动化。
- UFO 怎么安装和运行?
- 从 requirements.txt 安装依赖: pip install -r requirements.txt 复制 Galaxy 智能体配置模板: copy config\galaxy\agent.yaml.template config\galaxy\agent.yaml 编辑配置文件添加 API 密钥,并在 config\galaxy\devices.yaml 中注册设备 按平台指南启动设备智能体,然后启动 Galaxy: python -m galaxy --interactive
- 在哪里获取 UFO?
- 源代码和安装说明在 GitHub 上:https://github.com/microsoft/UFO
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
一个通过 Windows UI Automation 读取界面、由大模型决定点击与输入的 Windows 图形界面 AI 代理。
开源多智能体运行时,由常驻的 queen 智能体规划任务、派生并行 worker,并将结果记入共享 SQLite 表。
开源多智能体 AI 助手,可在网页、桌面、文件及 Telegram、飞书、企业微信等聊天应用中执行任务。
面向生产环境的多智能体编排框架,基于 Go、Rust 和 Python 构建,提供 Temporal 工作流与 Token 预算控制。
基于 Azure 的多智能体参考方案,多个专业 AI 智能体协作规划并执行用户指定的业务任务。