Repolode
投稿する
Jeomon

Jeomon/Windows-Use

UI Automationで画面を読み取り、任意のLLMでWindowsをGUI操作するAIエージェント。

代替できる製品:Microsoft Power Automate DesktopUiPathAutomation Anywhere

GitHub で見る
スター
470
フォーク
63
未解決の Issue
3
最終コミット
26 日前

これは何？

Windows-Useは、グラフィカルインターフェースを通じてWindowsを操作するPython製AIエージェントです。コンピュータービジョンモデルではなくWindows UI Automation APIを使って画面を読み取り、次にクリック、入力、スクロール、実行する要素をLLMが判断します。平易な英語でタスクを指示すると、手順を実行します。

マウスやキーボードの操作、ウィンドウの起動とサイズ変更、PowerShellコマンドの実行、Webページのテキスト抽出、仮想デスクトップの管理といった基本ツールを備えています。実験的なモードでは、ファイルの読み書き、永続化されるMarkdown形式のメモリ、複数項目の選択や編集も利用できます。Anthropic、OpenAI、Google、Ollama、Groqなど多数のLLMプロバイダーに対応し、ターミナルCLIから、または同期・非同期呼び出しに対応したPython APIから使用できます。

エージェントはファイルやシステム設定を変更できるため、プロジェクトはサンドボックスを提供していません。仮想マシンまたはWindows Sandboxでの実行を推奨しています。

主な機能

  • 01ビジョンモデルを使わず、Windows UI Automation APIを通じて画面を読み取ります。
  • 02Anthropic、OpenAI、Google、Ollamaなど、14のLLMプロバイダーに対応しています。
  • 03マウス、キーボード、ウィンドウ、仮想デスクトップを操作します。
  • 04PowerShellコマンドを実行し、その出力を読み取ります。
  • 05ターミナルCLIと、同期・非同期に対応したPython APIを提供します。
  • 06STTおよびTTSプロバイダーによる音声入力と音声出力をオプションで利用できます。

ユースケース

  • APIのないWindowsアプリケーションで、繰り返し行うデスクトップ作業を自動化する。
  • Windowsネイティブソフトウェアを操作するAIエージェントのプロトタイプを作る。
  • テストや研究のため、破棄可能なVM内でGUIワークフローを実行する。

トピック

#ai-agent#windows#automation#llm#ui-automation#gui-automation#python

よくある質問

Windows-Use とは？
UI Automationで画面を読み取り、任意のLLMでWindowsをGUI操作するAIエージェント。 Windows-Useは、グラフィカルインターフェースを通じてWindowsを操作するPython製AIエージェントです。コンピュータービジョンモデルではなくWindows UI Automation APIを使って画面を読み取り、次にクリック、入力、スクロール、実行する要素をLLMが判断します。平易な英語でタスクを指示すると、手順を実行します。
Windows-Use は無料で使えますか？ライセンスは？
Windows-Use は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
Windows-Use は今もメンテナンスされていますか？
活発にメンテナンス中。Windows-Use の最終コミットは 2026年9月23日 です。
Windows-Use は何に使えますか？
APIのないWindowsアプリケーションで、繰り返し行うデスクトップ作業を自動化する。 Windowsネイティブソフトウェアを操作するAIエージェントのプロトタイプを作る。 テストや研究のため、破棄可能なVM内でGUIワークフローを実行する。
Windows-Use はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/Jeomon/Windows-Use

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト