Benchmark e ferramenta de avaliação que verifica se modelos de linguagem conseguem resolver issues reais do GitHub gerando patches validados no Docker.
6,1 mil1 milPythonMITAtualizado mês passado
xlang-ai/OSWorld
Benchmark e ambiente de execução para avaliar agentes de IA multimodais em tarefas abertas no computador, em sistemas operacionais de desktop reais.
- Estrelas
- 3,225
- Forks
- 548
- Issues abertas
- 193
- Último commit
- há 11 horas
O que é?
OSWorld é um benchmark para testar se agentes de IA conseguem concluir tarefas cotidianas no computador usando aplicativos de desktop reais. Cada tarefa é executada em uma máquina virtual com Ubuntu ou Windows, na qual o agente recebe capturas de tela ou informações de acessibilidade e realiza ações com mouse e teclado, como clicar, digitar ou executar scripts.
O projeto fornece a camada de ambiente que inicia e reinicia essas máquinas virtuais, configura as tarefas, executa as ações dos agentes e verifica os resultados com scripts de avaliação específicos para cada tarefa. Ele oferece suporte a vários backends de virtualização, incluindo VMware, VirtualBox, Docker com KVM e AWS, além de um pacote Python chamado desktop-env para executar tarefas sem os dados do benchmark incluídos no projeto.
O repositório também inclui código de agentes de referência, scripts para execução em paralelo, uma ferramenta para examinar tarefas manualmente e um visualizador de resultados. Pesquisadores e equipes que desenvolvem agentes capazes de interagir com computadores podem usá-lo para comparar agentes em um conjunto compartilhado de tarefas e divulgar os resultados.
Recursos principais
- 01Executa tarefas em máquinas virtuais com Ubuntu ou Windows e aplicativos de desktop reais.
- 02Oferece suporte a provedores VMware, VirtualBox, Docker com KVM, Modal, Daytona e AWS.
- 03Avalia os resultados com scripts específicos para cada tarefa após cada execução do agente.
- 04Executa várias tarefas em paralelo em diversos ambientes.
- 05Inclui código de agentes de referência e um visualizador de resultados com pontuações por domínio.
Casos de uso
- Avaliar um agente de interação com computadores em um conjunto compartilhado de tarefas de desktop.
- Reproduzir resultados publicados do OSWorld com um novo modelo.
- Verificar manualmente se uma tarefa específica do benchmark e seu avaliador funcionam corretamente.
- Executar avaliações de agentes em larga escala na infraestrutura de nuvem.
Início rápido
- 1
Clone o repositório
git clone https://github.com/xlang-ai/OSWorld - 2
Acesse o diretório clonado
cd OSWorld - 3
Instale as dependências necessárias
pip install -r requirements.txt - 4
Execute o exemplo de início rápido (é necessário configurar o VMware ou o Docker antes)
python quickstart.py
Antes de usar
- Antes de executar o início rápido, é necessário configurar o VMware ou o VirtualBox localmente, ou usar o Docker com suporte a KVM.
- Algumas tarefas de benchmark exigem a configuração do OAuth de uma conta Google e podem exigir também a configuração de um proxy.
- Para executar o agente de referência, é necessária uma chave de API paga da OpenAI.
Tópicos
Perguntas frequentes
- O que é OSWorld?
- Benchmark e ambiente de execução para avaliar agentes de IA multimodais em tarefas abertas no computador, em sistemas operacionais de desktop reais. OSWorld é um benchmark para testar se agentes de IA conseguem concluir tarefas cotidianas no computador usando aplicativos de desktop reais. Cada tarefa é executada em uma máquina virtual com Ubuntu ou Windows, na qual o agente recebe capturas de tela ou informações de acessibilidade e realiza ações com mouse e teclado, como clicar, digitar ou executar scripts.
- OSWorld é gratuito? Qual é a licença?
- OSWorld é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- OSWorld ainda é mantido?
- Manutenção ativa. O último commit de OSWorld foi em 20 de out. de 2026.
- Para que posso usar OSWorld?
- Avaliar um agente de interação com computadores em um conjunto compartilhado de tarefas de desktop. Reproduzir resultados publicados do OSWorld com um novo modelo. Verificar manualmente se uma tarefa específica do benchmark e seu avaliador funcionam corretamente. Executar avaliações de agentes em larga escala na infraestrutura de nuvem.
- Como instalar OSWorld?
- Clone o repositório: git clone https://github.com/xlang-ai/OSWorld Acesse o diretório clonado: cd OSWorld Instale as dependências necessárias: pip install -r requirements.txt Execute o exemplo de início rápido (é necessário configurar o VMware ou o Docker antes): python quickstart.py
- Onde consigo OSWorld?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/xlang-ai/OSWorld
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Central de controle auto-hospedada para executar agentes de programação, como OpenHands, Claude Code e Codex, em backends locais, remotos e na nuvem.
91,3 mil12,1 milTypeScriptMITAtualizado há 11 horas
Framework unificado para ajustar 100+ LLMs e VLMs com eficiência, usando uma CLI e uma interface Web sem código.
75,6 mil9,3 milPythonApache-2.0Atualizado ontem
Stack open source de agentes de IA multimodais da ByteDance, com CLI/Web UI (Agent TARS) e um app de agente para desktop com GUI (UI-TARS Desktop).
39,3 mil4 milTypeScriptApache-2.0Atualizado há 12 dias
Uma CLI e TUI em Rust que detecta CPU, RAM e GPU e classifica LLMs abertos conforme o desempenho esperado na sua máquina.
38,1 mil2,5 milRustMITAtualizado anteontem
Criador de apps com IA, open source e local, que roda no seu computador e permite usar suas próprias chaves de API de IA; uma alternativa ao Lovable, v0 e Bolt.
22 mil2,9 milTypeScriptOtherAtualizado há 20 horas