Un entorno de evaluación para probar LLM como agentes autónomos, con 300 tareas verificadas por personas y calificadas según su finalización, seguridad y robustez.
77976PythonMITActualizado hace 10 horas
suyoumo/ClawProBench
Arnés de benchmarks con prioridad en ejecuciones reales para evaluar agentes LLM en el runtime de OpenClaw, con calificación determinista y métricas de confiabilidad basadas en pruebas repetidas.
- Estrellas
- 828
- Forks
- 54
- Issues abiertos
- 0
- Último commit
- hace 2 meses
¿Qué es?
ClawProBench ejecuta agentes LLM con OpenClaw en funcionamiento real, en lugar de usar resultados simulados. Incluye un catálogo de escenarios de benchmark, organizados en perfiles como una suite predeterminada para rankings (core), una suite ampliada de capacidades (intelligence) y una selección exclusiva de escenarios nativos. Además, genera informes estructurados con puntuaciones, costos y latencia.
La calificación es determinista y utiliza verificadores personalizados específicos para cada escenario. Las pruebas repetidas mediante --trials N permiten que el arnés informe pass^3, pass@3, la puntuación promedio y una FinalScore combinada que da mayor peso al éxito constante. Las ejecuciones interrumpidas pueden reanudarse desde puntos de control, y los errores de ejecución pueden volver a ponerse en cola.
El repositorio incluye una CLI (run.py) con comandos de inventario, validación en seco, ejecución y comparación, además de archivos YAML de escenarios, conjuntos de datos con datos iniciales y un sitio público con la tabla de clasificación.
Funciones clave
- 01Ejecuta tareas de agentes en un runtime local de OpenClaw en funcionamiento real
- 02Calificación determinista mediante verificadores personalizados específicos para cada escenario
- 03Métricas de pruebas repetidas, como pass^3, pass@3 y la puntuación promedio
- 04Perfiles de benchmark que van desde una suite core de 26 escenarios hasta la suite completa de 102 escenarios
- 05Reanudación desde puntos de control y nueva puesta en cola de errores de ejecución
- 06Comparación de informes entre modelos mediante el comando compare
Casos de uso
- Clasificar modelos LLM según su rendimiento en tareas de agentes ejecutadas en OpenClaw
- Medir si un agente completa la misma tarea de forma confiable en varias ejecuciones
- Comparar versiones de modelos o proveedores con un conjunto de tareas compartido y reproducible
- Añadir escenarios y evaluadores personalizados para un flujo de trabajo basado en OpenClaw
Inicio rápido
- 1
Instala uv y crea un entorno virtual de Python 3.11
pip install uv - 2
Crea el entorno virtual e instala los requisitos
uv venv --python 3.11 - 3
Revisa el catálogo de benchmarks y valida el conjunto de escenarios
python3 run.py inventory - 4
Ejecuta una prueba rápida de un solo ensayo en el benchmark de clasificación predeterminado (requiere un runtime local de OpenClaw y un modelo)
python3 run.py run --model '<MODEL>' --execution-mode live --benchmark-profile core --trials 1 --cleanup-agents
Antes de usarlo
- Las ejecuciones en vivo requieren una CLI local de OpenClaw que funcione, además de autenticación y configuración del modelo.
- Las ejecuciones completas del benchmark necesitan acceso a un modelo y pueden resultar costosas, ya que cada ensayo ejecuta tareas en vivo.
Temas
Preguntas frecuentes
- ¿Qué es ClawProBench?
- Arnés de benchmarks con prioridad en ejecuciones reales para evaluar agentes LLM en el runtime de OpenClaw, con calificación determinista y métricas de confiabilidad basadas en pruebas repetidas. ClawProBench ejecuta agentes LLM con OpenClaw en funcionamiento real, en lugar de usar resultados simulados. Incluye un catálogo de escenarios de benchmark, organizados en perfiles como una suite predeterminada para rankings (core), una suite ampliada de capacidades (intelligence) y una selección exclusiva de escenarios nativos. Además, genera informes estructurados con puntuaciones, costos y latencia.
- ¿ClawProBench es gratuito? ¿Qué licencia tiene?
- ClawProBench es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿ClawProBench sigue mantenido?
- Actualizado en los últimos 6 meses. El último commit de ClawProBench fue el 25 ago 2026.
- ¿Para qué puedo usar ClawProBench?
- Clasificar modelos LLM según su rendimiento en tareas de agentes ejecutadas en OpenClaw Medir si un agente completa la misma tarea de forma confiable en varias ejecuciones Comparar versiones de modelos o proveedores con un conjunto de tareas compartido y reproducible Añadir escenarios y evaluadores personalizados para un flujo de trabajo basado en OpenClaw
- ¿Cómo se instala ClawProBench?
- Instala uv y crea un entorno virtual de Python 3.11: pip install uv Crea el entorno virtual e instala los requisitos: uv venv --python 3.11 Revisa el catálogo de benchmarks y valida el conjunto de escenarios: python3 run.py inventory Ejecuta una prueba rápida de un solo ensayo en el benchmark de clasificación predeterminado (requiere un runtime local de OpenClaw y un modelo): python3 run.py run --model '<MODEL>' --execution-mode live --benchmark-profile core --trials 1 --cleanup-agents
- ¿Dónde consigo ClawProBench?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/suyoumo/ClawProBench
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Benchmark y entorno de ejecución para evaluar agentes de IA multimodales en tareas informáticas abiertas en sistemas operativos de escritorio reales.
3,2 mil552PythonApache-2.0Actualizado hace 8 horas
Plataforma open source integral para evaluar modelos de lenguaje grandes en más de 100 datasets y con numerosos proveedores de modelos y backends de inferencia.
7,5 mil889PythonApache-2.0Actualizado ayer
Benchmark y herramienta de evaluación para comprobar si los modelos de lenguaje pueden resolver issues reales de GitHub generando parches verificados en Docker.
6,1 mil1 milPythonMITActualizado el mes pasado
Framework personalizable para evaluar LLM, VLM y modelos AIGC con benchmarks, además de pruebas de estrés del rendimiento de inferencia y paneles de resultados.
3,6 mil532PythonApache-2.0Actualizado hace 8 horas
Clasificación pública de LLM según la frecuencia con que alucinan al resumir documentos breves, evaluada con el modelo HHEM de Vectara.
3,3 mil107PythonApache-2.0Actualizado ayer