Benchmark y herramienta de evaluación para comprobar si los modelos de lenguaje pueden resolver issues reales de GitHub generando parches verificados en Docker.
6,1 mil1 milPythonMITActualizado el mes pasado
xlang-ai/OSWorld
Benchmark y entorno de ejecución para evaluar agentes de IA multimodales en tareas informáticas abiertas en sistemas operativos de escritorio reales.
- Estrellas
- 3,225
- Forks
- 548
- Issues abiertos
- 193
- Último commit
- hace 11 horas
¿Qué es?
OSWorld es un benchmark para comprobar si los agentes de IA pueden completar tareas informáticas cotidianas usando aplicaciones de escritorio reales. Cada tarea se ejecuta en una máquina virtual con Ubuntu o Windows, donde el agente recibe capturas de pantalla o información de accesibilidad y realiza acciones con el mouse y el teclado, como hacer clic, escribir o ejecutar scripts.
El proyecto proporciona la capa de entorno que inicia y restablece estas máquinas virtuales, prepara cada tarea, ejecuta las acciones del agente y comprueba los resultados con scripts de evaluación específicos para cada tarea. Admite varios backends de virtualización, como VMware, VirtualBox, Docker con KVM y AWS, además de un paquete de Python llamado desktop-env para ejecutar tareas sin los datos del benchmark incluidos en el proyecto.
El repositorio también incluye código de agentes de referencia, scripts para ejecutar tareas en paralelo, una herramienta para examinar tareas manualmente y un visor de resultados. Los investigadores y equipos que desarrollan agentes capaces de usar computadoras pueden utilizarlo para comparar agentes con un conjunto común de tareas y presentar resultados.
Funciones clave
- 01Ejecuta tareas en máquinas virtuales con Ubuntu o Windows y aplicaciones de escritorio reales.
- 02Admite los proveedores VMware, VirtualBox, Docker con KVM, Modal, Daytona y AWS.
- 03Evalúa los resultados con scripts específicos para cada tarea después de cada ejecución del agente.
- 04Ejecuta muchas tareas en paralelo en varios entornos.
- 05Incluye código de agentes de referencia y un visor de resultados con puntuaciones por dominio.
Casos de uso
- Comparar un agente capaz de usar computadoras con un conjunto común de tareas de escritorio.
- Reproducir resultados publicados de OSWorld para un modelo nuevo.
- Comprobar manualmente si una tarea específica del benchmark y su evaluador funcionan correctamente.
- Ejecutar evaluaciones de agentes a gran escala en infraestructura de nube.
Inicio rápido
- 1
Clona el repositorio
git clone https://github.com/xlang-ai/OSWorld - 2
Ve al directorio clonado
cd OSWorld - 3
Instala las dependencias necesarias
pip install -r requirements.txt - 4
Ejecuta el ejemplo de inicio rápido (primero debes configurar VMware o Docker)
python quickstart.py
Antes de usarlo
- Antes de ejecutar el inicio rápido, necesitas configurar VMware o VirtualBox en local, o Docker con compatibilidad con KVM.
- Algunas tareas de benchmark requieren configurar OAuth con una cuenta de Google y puede que también necesites configurar un proxy.
- Para ejecutar el agente de referencia se necesita una clave de API de OpenAI de pago.
Temas
Preguntas frecuentes
- ¿Qué es OSWorld?
- Benchmark y entorno de ejecución para evaluar agentes de IA multimodales en tareas informáticas abiertas en sistemas operativos de escritorio reales. OSWorld es un benchmark para comprobar si los agentes de IA pueden completar tareas informáticas cotidianas usando aplicaciones de escritorio reales. Cada tarea se ejecuta en una máquina virtual con Ubuntu o Windows, donde el agente recibe capturas de pantalla o información de accesibilidad y realiza acciones con el mouse y el teclado, como hacer clic, escribir o ejecutar scripts.
- ¿OSWorld es gratuito? ¿Qué licencia tiene?
- OSWorld es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿OSWorld sigue mantenido?
- Mantenimiento activo. El último commit de OSWorld fue el 20 oct 2026.
- ¿Para qué puedo usar OSWorld?
- Comparar un agente capaz de usar computadoras con un conjunto común de tareas de escritorio. Reproducir resultados publicados de OSWorld para un modelo nuevo. Comprobar manualmente si una tarea específica del benchmark y su evaluador funcionan correctamente. Ejecutar evaluaciones de agentes a gran escala en infraestructura de nube.
- ¿Cómo se instala OSWorld?
- Clona el repositorio: git clone https://github.com/xlang-ai/OSWorld Ve al directorio clonado: cd OSWorld Instala las dependencias necesarias: pip install -r requirements.txt Ejecuta el ejemplo de inicio rápido (primero debes configurar VMware o Docker): python quickstart.py
- ¿Dónde consigo OSWorld?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/xlang-ai/OSWorld
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Centro de control autoalojado para ejecutar agentes de programación como OpenHands, Claude Code y Codex en entornos locales, remotos y en la nube.
91,3 mil12,1 milTypeScriptMITActualizado hace 11 horas
Framework unificado para ajustar eficientemente más de 100 LLM y VLM con una CLI y una interfaz web sin código.
75,6 mil9,3 milPythonApache-2.0Actualizado ayer
Stack de agentes de IA multimodales de código abierto de ByteDance, con CLI y Web UI (Agent TARS) y una app de agente de escritorio con GUI (UI-TARS Desktop).
39,3 mil4 milTypeScriptApache-2.0Actualizado hace 12 días
CLI y TUI en Rust que detecta tu CPU, RAM y GPU y clasifica los LLM de código abierto según qué tan bien funcionarán en tu equipo.
38,1 mil2,5 milRustMITActualizado anteayer
Constructor local y de código abierto de apps con IA que se ejecuta en tu equipo y te permite usar tus propias claves de API de IA; una alternativa a Lovable, v0 y Bolt.
22 mil2,9 milTypeScriptOtherActualizado hace 20 horas