Repolode
xlang-ai

xlang-ai/OSWorld

実際のデスクトップOS上で、自由度の高いコンピューター操作タスクに取り組むマルチモーダルAIエージェントを評価するためのベンチマーク兼実行環境。

スター
3,225
フォーク
548
未解決の Issue
193
最終コミット
11 時間前

これは何?

OSWorldは、実際のデスクトップアプリケーションを操作して、日常的なコンピュータータスクをAIエージェントが完了できるかをテストするベンチマークです。各タスクはUbuntuまたはWindowsを実行する仮想マシン内で行われ、エージェントはスクリーンショットやアクセシビリティ情報を受け取り、クリック、入力、スクリプトの実行などのマウス・キーボード操作を行います。

このプロジェクトは、仮想マシンの起動とリセット、タスクのセットアップ、エージェント操作の実行、タスク固有の評価スクリプトによる結果の確認を担う環境レイヤーを提供します。VMware、VirtualBox、KVMを使ったDocker、AWSなど複数の仮想化バックエンドに対応しています。また、同梱のベンチマークデータを使わずにタスクを実行するためのdesktop-envというPythonパッケージも提供しています。

リポジトリには、ベースラインエージェントのコード、並列実行用スクリプト、タスクを手動で調査するツール、結果ビューアも含まれています。コンピューター操作エージェントを開発する研究者やチームは、共通のタスクセットでエージェントを比較し、結果を報告できます。

主な機能

  • 01実際のデスクトップアプリケーションを使うタスクを、UbuntuまたはWindowsの仮想マシン上で実行します。
  • 02VMware、VirtualBox、KVMを使ったDocker、Modal、Daytona、AWSの各プロバイダーに対応しています。
  • 03エージェントの実行後、タスク固有のスクリプトで結果を評価します。
  • 04複数の環境で多数のタスクを並列実行します。
  • 05ベースラインエージェントのコードと、ドメイン別スコアを確認できる結果ビューアを同梱しています。

ユースケース

  • 共通のデスクトップタスクセットを使って、コンピューター操作エージェントをベンチマークする。
  • 新しいモデルでOSWorldの公開済み結果を再現する。
  • 特定のベンチマークタスクと評価器が正しく動作するかを手動で確認する。
  • クラウドインフラ上で大規模なエージェント評価を実行する。

クイックスタート

  1. 1

    リポジトリをクローンする

    git clone https://github.com/xlang-ai/OSWorld
  2. 2

    クローンしたディレクトリに移動する

    cd OSWorld
  3. 3

    必要な依存関係をインストールする

    pip install -r requirements.txt
  4. 4

    クイックスタートのサンプルを実行する(事前にVMwareまたはDockerのセットアップが必要)

    python quickstart.py

使う前に知っておきたいこと

  • クイックスタートの実行前に、ローカル環境でVMwareまたはVirtualBoxをセットアップするか、KVMをサポートするDockerを用意する必要があります。
  • 一部のベンチマークタスクではGoogleアカウントのOAuth設定が必要で、プロキシの設定が必要になる場合もあります。
  • ベースラインエージェントの実行には、有料のOpenAI APIキーが必要です。

トピック

よくある質問

OSWorld とは?
実際のデスクトップOS上で、自由度の高いコンピューター操作タスクに取り組むマルチモーダルAIエージェントを評価するためのベンチマーク兼実行環境。 OSWorldは、実際のデスクトップアプリケーションを操作して、日常的なコンピュータータスクをAIエージェントが完了できるかをテストするベンチマークです。各タスクはUbuntuまたはWindowsを実行する仮想マシン内で行われ、エージェントはスクリーンショットやアクセシビリティ情報を受け取り、クリック、入力、スクリプトの実行などのマウス・キーボード操作を行います。
OSWorld は無料で使えますか?ライセンスは?
OSWorld は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
OSWorld は今もメンテナンスされていますか?
活発にメンテナンス中。OSWorld の最終コミットは 2026年10月20日 です。
OSWorld は何に使えますか?
共通のデスクトップタスクセットを使って、コンピューター操作エージェントをベンチマークする。 新しいモデルでOSWorldの公開済み結果を再現する。 特定のベンチマークタスクと評価器が正しく動作するかを手動で確認する。 クラウドインフラ上で大規模なエージェント評価を実行する。
OSWorld のインストール方法は?
リポジトリをクローンする: git clone https://github.com/xlang-ai/OSWorld クローンしたディレクトリに移動する: cd OSWorld 必要な依存関係をインストールする: pip install -r requirements.txt クイックスタートのサンプルを実行する(事前にVMwareまたはDockerのセットアップが必要): python quickstart.py
OSWorld はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/xlang-ai/OSWorld

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト