Docker上で検証するパッチを生成し、実際のGitHub issueを言語モデルが解決できるかを測るベンチマークと評価ハーネス。
xlang-ai/OSWorld
実際のデスクトップOS上で、自由度の高いコンピューター操作タスクに取り組むマルチモーダルAIエージェントを評価するためのベンチマーク兼実行環境。
- スター
- 3,225
- フォーク
- 548
- 未解決の Issue
- 193
- 最終コミット
- 11 時間前
これは何?
OSWorldは、実際のデスクトップアプリケーションを操作して、日常的なコンピュータータスクをAIエージェントが完了できるかをテストするベンチマークです。各タスクはUbuntuまたはWindowsを実行する仮想マシン内で行われ、エージェントはスクリーンショットやアクセシビリティ情報を受け取り、クリック、入力、スクリプトの実行などのマウス・キーボード操作を行います。
このプロジェクトは、仮想マシンの起動とリセット、タスクのセットアップ、エージェント操作の実行、タスク固有の評価スクリプトによる結果の確認を担う環境レイヤーを提供します。VMware、VirtualBox、KVMを使ったDocker、AWSなど複数の仮想化バックエンドに対応しています。また、同梱のベンチマークデータを使わずにタスクを実行するためのdesktop-envというPythonパッケージも提供しています。
リポジトリには、ベースラインエージェントのコード、並列実行用スクリプト、タスクを手動で調査するツール、結果ビューアも含まれています。コンピューター操作エージェントを開発する研究者やチームは、共通のタスクセットでエージェントを比較し、結果を報告できます。
主な機能
- 01実際のデスクトップアプリケーションを使うタスクを、UbuntuまたはWindowsの仮想マシン上で実行します。
- 02VMware、VirtualBox、KVMを使ったDocker、Modal、Daytona、AWSの各プロバイダーに対応しています。
- 03エージェントの実行後、タスク固有のスクリプトで結果を評価します。
- 04複数の環境で多数のタスクを並列実行します。
- 05ベースラインエージェントのコードと、ドメイン別スコアを確認できる結果ビューアを同梱しています。
ユースケース
- 共通のデスクトップタスクセットを使って、コンピューター操作エージェントをベンチマークする。
- 新しいモデルでOSWorldの公開済み結果を再現する。
- 特定のベンチマークタスクと評価器が正しく動作するかを手動で確認する。
- クラウドインフラ上で大規模なエージェント評価を実行する。
クイックスタート
- 1
リポジトリをクローンする
git clone https://github.com/xlang-ai/OSWorld - 2
クローンしたディレクトリに移動する
cd OSWorld - 3
必要な依存関係をインストールする
pip install -r requirements.txt - 4
クイックスタートのサンプルを実行する(事前にVMwareまたはDockerのセットアップが必要)
python quickstart.py
使う前に知っておきたいこと
- クイックスタートの実行前に、ローカル環境でVMwareまたはVirtualBoxをセットアップするか、KVMをサポートするDockerを用意する必要があります。
- 一部のベンチマークタスクではGoogleアカウントのOAuth設定が必要で、プロキシの設定が必要になる場合もあります。
- ベースラインエージェントの実行には、有料のOpenAI APIキーが必要です。
トピック
よくある質問
- OSWorld とは?
- 実際のデスクトップOS上で、自由度の高いコンピューター操作タスクに取り組むマルチモーダルAIエージェントを評価するためのベンチマーク兼実行環境。 OSWorldは、実際のデスクトップアプリケーションを操作して、日常的なコンピュータータスクをAIエージェントが完了できるかをテストするベンチマークです。各タスクはUbuntuまたはWindowsを実行する仮想マシン内で行われ、エージェントはスクリーンショットやアクセシビリティ情報を受け取り、クリック、入力、スクリプトの実行などのマウス・キーボード操作を行います。
- OSWorld は無料で使えますか?ライセンスは?
- OSWorld は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- OSWorld は今もメンテナンスされていますか?
- 活発にメンテナンス中。OSWorld の最終コミットは 2026年10月20日 です。
- OSWorld は何に使えますか?
- 共通のデスクトップタスクセットを使って、コンピューター操作エージェントをベンチマークする。 新しいモデルでOSWorldの公開済み結果を再現する。 特定のベンチマークタスクと評価器が正しく動作するかを手動で確認する。 クラウドインフラ上で大規模なエージェント評価を実行する。
- OSWorld のインストール方法は?
- リポジトリをクローンする: git clone https://github.com/xlang-ai/OSWorld クローンしたディレクトリに移動する: cd OSWorld 必要な依存関係をインストールする: pip install -r requirements.txt クイックスタートのサンプルを実行する(事前にVMwareまたはDockerのセットアップが必要): python quickstart.py
- OSWorld はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/xlang-ai/OSWorld
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
OpenHands、Claude Code、Codexなどのコーディングエージェントを、ローカル・リモート・クラウドのバックエンドで動かすセルフホスト型コントロールセンター。
ゼロコードのCLIとWeb UIで、100種類以上のLLMやVLMを効率よくファインチューニングできる統合フレームワーク。
ByteDance発のオープンソースなマルチモーダルAIエージェント基盤。CLI/Web UIのAgent TARSと、デスクトップGUIエージェントアプリのUI-TARS Desktopを提供。
CPU、RAM、GPUを検出し、手元のマシンで快適に動作するオープンLLMを順位付けするRust製CLI/TUI。
ローカル環境で動作するオープンソースのAIアプリビルダー。自分のAI APIキーを利用でき、Lovable、v0、Boltに代わる選択肢です。