Win32 APIまたはMS UI Automationを通じてウィンドウやダイアログ、コントロールを操作し、Windows GUIアプリケーションを自動化するPythonライブラリ。
microsoft/UFO
MicrosoftのUFO³はDAGベースのタスク分解を使って複数デバイス上のGUIエージェントを連携させ、UFO²はWindowsデスクトップエージェントとして機能します。
- スター
- 10,178
- フォーク
- 1,082
- 未解決の Issue
- 95
- 最終コミット
- 8 日前
これは何?
UFO³は、複数のデバイス上でAIエージェントを同時に実行するためのMicrosoft製研究フレームワークです。マルチデバイスのオーケストレーション層であるGalaxyは、ユーザーのリクエストを受け取り、有向非巡回グラフ(DAG)形式のタスクに分解して、各デバイスのプラットフォームや機能に応じてタスクを割り当て、独立したタスクを並列実行します。実行結果が返ってくると、実行時にグラフを書き換えることもできます。
デバイスはAIPと呼ばれるWebSocketベースのプロトコルを通じてオーケストレーターに接続します。このリポジトリにはWindows、Linux、Android向けのデバイスエージェントが含まれており、MCP(Model Context Protocol)を使ってツールを追加できます。UFO²は旧来の単一デバイス向けコンポーネントで、UI AutomationとAPI呼び出しを組み合わせたWindowsデスクトップエージェントです。Windowsのみの自動化に適した、安定した長期サポート版として説明されています。
LLMプロバイダー(OpenAI、Azure OpenAIなど)とデバイスプールは、YAMLファイルで設定します。Python 3.10または3.11が必要です。
主な機能
- 01ユーザーのリクエストを依存関係のあるDAG形式のタスクに分解し、独立したタスクを並列実行します。
- 02Windows、Linux、Androidを対象に、プラットフォームと機能に応じてデバイスへタスクを割り当てます。
- 03実行結果が届くたびに、実行時にタスクグラフを編集できます。
- 04自動再接続に対応したWebSocketベースのAIPプロトコルで、デバイスをオーケストレーターに接続します。
- 05MCPを統合し、デバイスエージェントが外部ツールを利用できるようにします。
- 06GUI操作とAPIアクションを組み合わせたWindowsデスクトップエージェント、UFO²が含まれています。
ユースケース
- Windows PCで始めたワークフローを、LinuxサーバーやAndroidスマートフォンで続行する。
- UFO²を使い、単一のエージェントでWindowsデスクトップの定型作業を自動化する。
- 異種デバイス間でのマルチエージェントGUI自動化を研究または試作する。
クイックスタート
- 1
requirementsファイルから依存関係をインストールする
pip install -r requirements.txt - 2
Galaxyエージェントの設定テンプレートをコピーする
copy config\galaxy\agent.yaml.template config\galaxy\agent.yaml - 3
設定ファイルを編集してAPIキーを追加し、config\galaxy\devices.yamlにデバイスを登録する
- 4
プラットフォーム別ガイドに従ってデバイスエージェントを起動し、その後Galaxyを起動する
python -m galaxy --interactive
使う前に知っておきたいこと
- セットアップにはLLM APIキーの設定と複数のデバイスエージェントの構成が必要で、手間がかかります。
- Galaxyのマルチデバイスフレームワークは現在開発中のため、変更される可能性があります。
- UFO² Windowsエージェントが安定した選択肢です。GalaxyのデバイスサポートはWindows、Linux、Androidに限られています。
収録されている特集
トピック
よくある質問
- UFO とは?
- MicrosoftのUFO³はDAGベースのタスク分解を使って複数デバイス上のGUIエージェントを連携させ、UFO²はWindowsデスクトップエージェントとして機能します。 UFO³は、複数のデバイス上でAIエージェントを同時に実行するためのMicrosoft製研究フレームワークです。マルチデバイスのオーケストレーション層であるGalaxyは、ユーザーのリクエストを受け取り、有向非巡回グラフ(DAG)形式のタスクに分解して、各デバイスのプラットフォームや機能に応じてタスクを割り当て、独立したタスクを並列実行します。実行結果が返ってくると、実行時にグラフを書き換えることもできます。
- UFO は無料で使えますか?ライセンスは?
- UFO は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- UFO は今もメンテナンスされていますか?
- 活発にメンテナンス中。UFO の最終コミットは 2026年10月30日 です。
- UFO は何に使えますか?
- Windows PCで始めたワークフローを、LinuxサーバーやAndroidスマートフォンで続行する。 UFO²を使い、単一のエージェントでWindowsデスクトップの定型作業を自動化する。 異種デバイス間でのマルチエージェントGUI自動化を研究または試作する。
- UFO のインストール方法は?
- requirementsファイルから依存関係をインストールする: pip install -r requirements.txt Galaxyエージェントの設定テンプレートをコピーする: copy config\galaxy\agent.yaml.template config\galaxy\agent.yaml 設定ファイルを編集してAPIキーを追加し、config\galaxy\devices.yamlにデバイスを登録する プラットフォーム別ガイドに従ってデバイスエージェントを起動し、その後Galaxyを起動する: python -m galaxy --interactive
- UFO はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/microsoft/UFO
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
UI Automationツリーを読み取り、任意のLLMにクリックや入力、コマンド実行を選ばせてWindowsをGUI操作するAIエージェント。
永続化されたqueenエージェントが作業を計画し、workerエージェントを並列起動して、共有SQLiteトラッカーで結果を管理するオープンソースのランタイム。
Web、デスクトップ、ファイル、Telegram・Feishu・WeComなどのチャットアプリでタスクを実行する、オープンソースのマルチエージェントAIアシスタント。
Temporalワークフローとトークン予算を備え、本番環境でLLMエージェントを実行するためのGo、Rust、Python製マルチエージェント・オーケストレーションフレームワーク。
Microsoft Agent FrameworkとAzure AI Foundryを基盤に、複数の特化型AIエージェントがユーザー指定の組織タスクを計画・実行する、Azureベースのリファレンスアクセラレーター。