Бенчмарк и инструмент оценки, который проверяет, могут ли языковые модели решать реальные задачи GitHub, создавая патчи, проверяемые в Docker.
xlang-ai/OSWorld
Бенчмарк и среда выполнения для оценки мультимодальных AI-агентов на открытых компьютерных задачах в настоящих настольных ОС.
- Звёзды
- 3,225
- Форки
- 548
- Открытые issues
- 193
- Последний коммит
- 11 часов назад
Что это?
OSWorld — это бенчмарк, который проверяет, могут ли AI-агенты выполнять повседневные компьютерные задачи, работая с настоящими настольными приложениями. Каждая задача запускается в виртуальной машине с Ubuntu или Windows: агент получает скриншоты или данные о доступности элементов интерфейса и выполняет действия мышью и клавиатурой — например, щёлкает, вводит текст или запускает скрипты.
Проект предоставляет слой среды, который запускает и сбрасывает виртуальные машины, настраивает их для задачи, выполняет действия агента и проверяет результат с помощью специальных оценочных скриптов. Поддерживаются разные бэкенды виртуализации, включая VMware, VirtualBox, Docker с KVM и AWS, а также Python-пакет desktop-env для запуска задач без входящих в комплект данных бенчмарка.
В репозитории также есть код базовых агентов, скрипты для параллельного запуска, инструмент для ручного изучения задач и просмотрщик результатов. Исследователи и команды, разрабатывающие агентов для работы с компьютером, могут сравнивать агентов на общем наборе задач и публиковать результаты.
Ключевые возможности
- 01Запускает задачи в виртуальных машинах с Ubuntu или Windows и настоящими настольными приложениями.
- 02Поддерживает провайдеров VMware, VirtualBox, Docker с KVM, Modal, Daytona и AWS.
- 03Оценивает результаты каждого запуска агента с помощью специальных скриптов.
- 04Запускает множество задач параллельно в нескольких средах.
- 05Включает код базовых агентов и просмотрщик результатов с оценками по доменам.
Сценарии использования
- Сравнение агента для работы с компьютером на общем наборе задач для настольных систем.
- Воспроизведение опубликованных результатов OSWorld для новой модели.
- Ручная проверка работы конкретной задачи бенчмарка и её оценщика.
- Масштабная оценка агентов на облачной инфраструктуре.
Быстрый старт
- 1
Клонируйте репозиторий
git clone https://github.com/xlang-ai/OSWorld - 2
Перейдите в клонированный каталог
cd OSWorld - 3
Установите необходимые зависимости
pip install -r requirements.txt - 4
Запустите пример быстрого старта (предварительно настройте VMware или Docker)
python quickstart.py
Что важно знать
- Перед запуском быстрого старта необходимо настроить локальную среду VMware или VirtualBox либо Docker с поддержкой KVM.
- Для некоторых задач бенчмарка требуется настроить OAuth для аккаунта Google; также может потребоваться настройка прокси.
- Для запуска базового агента нужен платный API-ключ OpenAI.
Темы
Частые вопросы
- Что такое OSWorld?
- Бенчмарк и среда выполнения для оценки мультимодальных AI-агентов на открытых компьютерных задачах в настоящих настольных ОС. OSWorld — это бенчмарк, который проверяет, могут ли AI-агенты выполнять повседневные компьютерные задачи, работая с настоящими настольными приложениями. Каждая задача запускается в виртуальной машине с Ubuntu или Windows: агент получает скриншоты или данные о доступности элементов интерфейса и выполняет действия мышью и клавиатурой — например, щёлкает, вводит текст или запускает скрипты.
- OSWorld можно использовать бесплатно? Какая у него лицензия?
- OSWorld распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- OSWorld всё ещё поддерживается?
- Активно поддерживается. Последний коммит в OSWorld — 20 окт. 2026 г..
- Для чего можно использовать OSWorld?
- Сравнение агента для работы с компьютером на общем наборе задач для настольных систем. Воспроизведение опубликованных результатов OSWorld для новой модели. Ручная проверка работы конкретной задачи бенчмарка и её оценщика. Масштабная оценка агентов на облачной инфраструктуре.
- Как установить OSWorld?
- Клонируйте репозиторий: git clone https://github.com/xlang-ai/OSWorld Перейдите в клонированный каталог: cd OSWorld Установите необходимые зависимости: pip install -r requirements.txt Запустите пример быстрого старта (предварительно настройте VMware или Docker): python quickstart.py
- Где скачать OSWorld?
- Исходный код и инструкции по установке — на GitHub: https://github.com/xlang-ai/OSWorld
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Самостоятельно размещаемый центр управления агентами для программирования OpenHands, Claude Code и Codex на локальных, удалённых и облачных серверах.
Единый фреймворк для эффективной тонкой настройки более 100 LLM и VLM через CLI и веб-интерфейс без написания кода.
Мультимодальный стек AI-агентов с открытым исходным кодом от ByteDance: CLI и Web UI (Agent TARS), а также десктопное GUI-приложение-агент (UI-TARS Desktop).
CLI и TUI на Rust, которые определяют CPU, RAM и GPU и ранжируют открытые LLM по тому, насколько хорошо они будут работать на вашем компьютере.
Локальный конструктор приложений на базе AI с открытым исходным кодом: работает на вашем компьютере и позволяет использовать собственные API-ключи — альтернатива Lovable, v0 и Bolt.