Repolode
xlang-ai

xlang-ai/OSWorld

用于评估多模态智能体在真实桌面操作系统中完成开放式电脑任务的基准测试与运行环境。

Star
3,225
Fork
548
未关闭 Issue
193
最近提交
10小时前

这是什么?

OSWorld 是一个用于测试 AI 智能体能否通过操作真实桌面应用完成日常电脑任务的基准。每个任务在运行 Ubuntu 或 Windows 的虚拟机中执行,智能体接收截图或无障碍信息,并发出鼠标、键盘操作,例如点击、输入或运行脚本。

项目提供环境层,负责启动和重置虚拟机、完成任务初始化、执行智能体动作,并通过各任务专属的评估脚本检查结果。支持的虚拟化后端包括 VMware、VirtualBox、基于 KVM 的 Docker 以及 AWS。另有名为 desktop-env 的 Python 包,可在不含基准数据的情况下运行任务。

仓库还包含基线智能体代码、并行运行脚本、手动任务检查工具和结果查看器。研究人员和构建电脑操作智能体的团队可以用它在统一任务集上比较不同智能体并汇报结果。

核心功能

  • 01在 Ubuntu 或 Windows 虚拟机中运行带有真实桌面应用的任务。
  • 02支持 VMware、VirtualBox、基于 KVM 的 Docker、Modal、Daytona 和 AWS 等运行后端。
  • 03每次智能体运行后,使用任务专属脚本评估结果。
  • 04可在多个环境中并行运行大量任务。
  • 05附带基线智能体代码和按领域统计得分的结果查看工具。

适用场景

  • 用统一的桌面任务集评测电脑操作类智能体。
  • 复现新模型在 OSWorld 上的评测结果。
  • 手动检查某个基准任务及其评估逻辑是否正确。
  • 在云端基础设施上进行大规模智能体评测。

快速上手

  1. 1

    克隆仓库

    git clone https://github.com/xlang-ai/OSWorld
  2. 2

    进入克隆的目录

    cd OSWorld
  3. 3

    安装所需依赖

    pip install -r requirements.txt
  4. 4

    运行快速入门示例(需先配置 VMware 或 Docker)

    python quickstart.py

使用前须知

  • 快速入门前需要先配置本地 VMware 或 VirtualBox,或支持 KVM 的 Docker。
  • 部分基准任务需要配置 Google 账户 OAuth,并可能需要代理设置。
  • 运行基线智能体需要付费的 OpenAI API 密钥。

标签

常见问题

OSWorld 是什么?
用于评估多模态智能体在真实桌面操作系统中完成开放式电脑任务的基准测试与运行环境。 OSWorld 是一个用于测试 AI 智能体能否通过操作真实桌面应用完成日常电脑任务的基准。每个任务在运行 Ubuntu 或 Windows 的虚拟机中执行,智能体接收截图或无障碍信息,并发出鼠标、键盘操作,例如点击、输入或运行脚本。
OSWorld 可以免费使用吗?用的什么许可证?
OSWorld 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
OSWorld 还在维护吗?
活跃维护中。OSWorld 最近一次提交是在 2026年10月20日。
OSWorld 适合用来做什么?
用统一的桌面任务集评测电脑操作类智能体。 复现新模型在 OSWorld 上的评测结果。 手动检查某个基准任务及其评估逻辑是否正确。 在云端基础设施上进行大规模智能体评测。
OSWorld 怎么安装和运行?
克隆仓库: git clone https://github.com/xlang-ai/OSWorld 进入克隆的目录: cd OSWorld 安装所需依赖: pip install -r requirements.txt 运行快速入门示例(需先配置 VMware 或 Docker): python quickstart.py
在哪里获取 OSWorld?
源代码和安装说明在 GitHub 上:https://github.com/xlang-ai/OSWorld

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目