Um harness de avaliação para testar LLMs como agentes autônomos, com 300 tarefas verificadas por humanos e avaliadas por conclusão, segurança e robustez.
77976PythonMITAtualizado há 10 horas
suyoumo/ClawProBench
Um harness de benchmark com foco em execução real para avaliar agentes LLM no runtime do OpenClaw, com avaliação determinística e métricas de confiabilidade em testes repetidos.
- Estrelas
- 828
- Forks
- 54
- Issues abertas
- 0
- Último commit
- há 2 meses
O que é?
O ClawProBench executa agentes LLM em uma instância real do OpenClaw, em vez de usar saídas simuladas. Ele inclui um catálogo de cenários de benchmark, agrupados em perfis como uma suíte padrão para rankings (core), uma suíte estendida de capacidades (intelligence) e um recorte apenas para recursos nativos, e gera relatórios estruturados com pontuações, custo e latência.
A avaliação é determinística e usa verificadores personalizados específicos para cada cenário. Com testes repetidos por meio de --trials N, o harness pode informar pass^3, pass@3, pontuação média e uma FinalScore combinada, que dá o maior peso à consistência dos resultados. Execuções interrompidas podem ser retomadas a partir de checkpoints, e falhas de execução podem ser colocadas na fila novamente.
O repositório inclui uma CLI (run.py) com comandos de inventário, validação em dry-run, execução e comparação, além de arquivos YAML de cenários, conjuntos de dados com seeds e um site público de leaderboard.
Recursos principais
- 01Executa tarefas de agentes em um runtime local do OpenClaw em execução real
- 02Avaliação determinística com verificadores personalizados específicos para cada cenário
- 03Métricas de testes repetidos, incluindo pass^3, pass@3 e pontuação média
- 04Perfis de benchmark que vão da suíte core, com 26 cenários, à suíte completa, com 102 cenários
- 05Retomada a partir de checkpoints e reenvio de falhas de execução à fila
- 06Comparação de relatórios entre modelos pelo comando compare
Casos de uso
- Classificar modelos LLM em tarefas de agentes executadas no OpenClaw
- Medir se um agente conclui a mesma tarefa de forma confiável em execuções repetidas
- Comparar versões de modelos ou provedores usando um conjunto de tarefas compartilhado e reproduzível
- Adicionar cenários e avaliadores personalizados a um fluxo de trabalho baseado no OpenClaw
Início rápido
- 1
Instale o uv e crie um ambiente virtual com Python 3.11
pip install uv - 2
Crie o ambiente virtual e instale os requisitos
uv venv --python 3.11 - 3
Examine o catálogo de benchmarks e valide o conjunto de cenários
python3 run.py inventory - 4
Execute um teste rápido de uma única tentativa no benchmark de classificação padrão (requer um runtime local do OpenClaw e um modelo)
python3 run.py run --model '<MODEL>' --execution-mode live --benchmark-profile core --trials 1 --cleanup-agents
Antes de usar
- As execuções ao vivo exigem uma CLI local do OpenClaw funcionando, além de autenticação e configuração do modelo.
- A execução completa dos benchmarks requer acesso a um modelo e pode ser custosa, pois cada tentativa executa tarefas ao vivo.
Tópicos
Perguntas frequentes
- O que é ClawProBench?
- Um harness de benchmark com foco em execução real para avaliar agentes LLM no runtime do OpenClaw, com avaliação determinística e métricas de confiabilidade em testes repetidos. O ClawProBench executa agentes LLM em uma instância real do OpenClaw, em vez de usar saídas simuladas. Ele inclui um catálogo de cenários de benchmark, agrupados em perfis como uma suíte padrão para rankings (core), uma suíte estendida de capacidades (intelligence) e um recorte apenas para recursos nativos, e gera relatórios estruturados com pontuações, custo e latência.
- ClawProBench é gratuito? Qual é a licença?
- ClawProBench é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- ClawProBench ainda é mantido?
- Atualizado nos últimos 6 meses. O último commit de ClawProBench foi em 25 de ago. de 2026.
- Para que posso usar ClawProBench?
- Classificar modelos LLM em tarefas de agentes executadas no OpenClaw Medir se um agente conclui a mesma tarefa de forma confiável em execuções repetidas Comparar versões de modelos ou provedores usando um conjunto de tarefas compartilhado e reproduzível Adicionar cenários e avaliadores personalizados a um fluxo de trabalho baseado no OpenClaw
- Como instalar ClawProBench?
- Instale o uv e crie um ambiente virtual com Python 3.11: pip install uv Crie o ambiente virtual e instale os requisitos: uv venv --python 3.11 Examine o catálogo de benchmarks e valide o conjunto de cenários: python3 run.py inventory Execute um teste rápido de uma única tentativa no benchmark de classificação padrão (requer um runtime local do OpenClaw e um modelo): python3 run.py run --model '<MODEL>' --execution-mode live --benchmark-profile core --trials 1 --cleanup-agents
- Onde consigo ClawProBench?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/suyoumo/ClawProBench
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Benchmark e ambiente de execução para avaliar agentes de IA multimodais em tarefas abertas no computador, em sistemas operacionais de desktop reais.
3,2 mil552PythonApache-2.0Atualizado há 8 horas
Uma plataforma open source completa para avaliar LLMs em mais de 100 datasets, com suporte a diversos provedores de modelos e backends de inferência.
7,5 mil889PythonApache-2.0Atualizado ontem
Benchmark e ferramenta de avaliação que verifica se modelos de linguagem conseguem resolver issues reais do GitHub gerando patches validados no Docker.
6,1 mil1 milPythonMITAtualizado mês passado
Framework personalizável para avaliar LLMs, VLMs e modelos de AIGC em benchmarks, testar o desempenho de inferência sob carga e visualizar resultados em dashboards.
3,6 mil532PythonApache-2.0Atualizado há 8 horas
Ranking público de LLMs pela frequência com que alucinam ao resumir documentos curtos, avaliado pelo modelo HHEM da Vectara.
3,3 mil107PythonApache-2.0Atualizado ontem