EleutherAI/lm-evaluation-harness

¿Qué es?

Funciones clave

• 01Incluye más de 60 benchmarks académicos estándar de LLM, con cientos de subtareas.
• 02Admite los backends Hugging Face transformers, vLLM, SGLang, llama.cpp, ONNX Runtime y NeMo.
• 03Evalúa modelos alojados de OpenAI, Anthropic, TextSynth y otros proveedores de API.
• 04Permite evaluar con varias GPU mediante paralelismo de datos, división del modelo y paralelismo de tensores.
• 05Define tareas y prompts en YAML y los ejecuta desde una CLI o la API de Python.
• 06Permite añadir tareas, métricas y backends de modelos personalizados mediante configuración o plugins.

Casos de uso

• Comparar un modelo recién entrenado o ajustado con tareas académicas estándar.
• Reproducir resultados de evaluaciones publicados con los mismos prompts utilizados en los artículos.
• Comparar modelos cuantizados, adaptados con LoRA o alojados por cuenta propia con APIs alojadas mediante una configuración unificada.
• Ejecutar evaluaciones de regresión en CI cuando cambian los checkpoints del modelo.

Inicio rápido

1. 1

   Clona el repositorio

   git clone --depth 1 https://github.com/EleutherAI/lm-evaluation-harness
2. 2

   Entra en el directorio del proyecto e instala el paquete en modo editable

   cd lm-evaluation-harness && pip install -e .
3. 3

   Instala el backend de modelos de HuggingFace

   pip install "lm_eval[hf]"
4. 4

   Evalúa un modelo de HuggingFace en hellaswag

   lm_eval --model hf --model_args pretrained=EleutherAI/gpt-j-6B --tasks hellaswag --device cuda:0 --batch_size 8

Antes de usarlo

• !Los backends de modelos como HuggingFace o vLLM deben instalarse por separado, y el ejemplo de ejecución presupone que se dispone de una GPU CUDA.

Temas

Preguntas frecuentes

¿Qué es lm-evaluation-harness?

Framework unificado para evaluar modelos de lenguaje con pocos ejemplos en decenas de benchmarks académicos estándar. lm-evaluation-harness es un framework para evaluar modelos de lenguaje generativos con un amplio conjunto de benchmarks estándar. Implementa más de 60 benchmarks académicos, con cientos de subtareas y variantes, y utiliza prompts disponibles públicamente para que los resultados se puedan comparar entre artículos.

¿lm-evaluation-harness es gratuito? ¿Qué licencia tiene?

lm-evaluation-harness es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.

¿lm-evaluation-harness sigue mantenido?

Actualizado en los últimos 6 meses. El último commit de lm-evaluation-harness fue el 14 sept 2026.

¿Para qué puedo usar lm-evaluation-harness?

Comparar un modelo recién entrenado o ajustado con tareas académicas estándar. Reproducir resultados de evaluaciones publicados con los mismos prompts utilizados en los artículos. Comparar modelos cuantizados, adaptados con LoRA o alojados por cuenta propia con APIs alojadas mediante una configuración unificada. Ejecutar evaluaciones de regresión en CI cuando cambian los checkpoints del modelo.

¿Cómo se instala lm-evaluation-harness?

Clona el repositorio: git clone --depth 1 https://github.com/EleutherAI/lm-evaluation-harness Entra en el directorio del proyecto e instala el paquete en modo editable: cd lm-evaluation-harness && pip install -e . Instala el backend de modelos de HuggingFace: pip install "lm_eval[hf]" Evalúa un modelo de HuggingFace en hellaswag: lm_eval --model hf --model_args pretrained=EleutherAI/gpt-j-6B --tasks hellaswag --device cuda:0 --batch_size 8

¿Dónde consigo lm-evaluation-harness?

El código fuente y las instrucciones de instalación están en GitHub: https://github.com/EleutherAI/lm-evaluation-harness