EleutherAI/lm-evaluation-harness

O que é?

Recursos principais

• 01Abrange mais de 60 benchmarks acadêmicos padrão de LLMs, com centenas de subtarefas.
• 02Oferece suporte aos backends Hugging Face transformers, vLLM, SGLang, llama.cpp, ONNX Runtime e NeMo.
• 03Avalia modelos hospedados da OpenAI, Anthropic, TextSynth e outros provedores de API.
• 04Permite avaliações com várias GPUs usando paralelismo de dados, divisão do modelo em shards e paralelismo de tensores.
• 05Define tarefas e prompts em YAML e executa-os pela CLI ou pela API Python.
• 06Permite adicionar tarefas, métricas e backends de modelos personalizados por configuração ou plugins.

Casos de uso

• Comparar um modelo recém-treinado ou ajustado com tarefas acadêmicas padrão.
• Reproduzir resultados de avaliações publicados usando os mesmos prompts dos artigos.
• Comparar modelos quantizados, adaptados com LoRA ou hospedados localmente com APIs hospedadas usando uma configuração unificada.
• Executar avaliações de regressão na CI quando os checkpoints do modelo mudarem.

Início rápido

1. 1

   Clone o repositório

   git clone --depth 1 https://github.com/EleutherAI/lm-evaluation-harness
2. 2

   Entre no diretório do projeto e instale o pacote em modo editável

   cd lm-evaluation-harness && pip install -e .
3. 3

   Instale o backend de modelos do HuggingFace

   pip install "lm_eval[hf]"
4. 4

   Avalie um modelo do HuggingFace no hellaswag

   lm_eval --model hf --model_args pretrained=EleutherAI/gpt-j-6B --tasks hellaswag --device cuda:0 --batch_size 8

Antes de usar

• !Backends de modelos como HuggingFace ou vLLM precisam ser instalados separadamente, e o exemplo de execução pressupõe o uso de uma GPU CUDA.

Tópicos

Perguntas frequentes

O que é lm-evaluation-harness?

Framework unificado para executar avaliações few-shot de modelos de linguagem em dezenas de benchmarks acadêmicos padrão. lm-evaluation-harness é um framework para avaliar modelos de linguagem generativos em um amplo conjunto de benchmarks padrão. Ele implementa mais de 60 benchmarks acadêmicos, com centenas de subtarefas e variantes, e usa prompts disponíveis publicamente para permitir a comparação de resultados entre artigos.

lm-evaluation-harness é gratuito? Qual é a licença?

lm-evaluation-harness é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.

lm-evaluation-harness ainda é mantido?

Atualizado nos últimos 6 meses. O último commit de lm-evaluation-harness foi em 14 de set. de 2026.

Para que posso usar lm-evaluation-harness?

Comparar um modelo recém-treinado ou ajustado com tarefas acadêmicas padrão. Reproduzir resultados de avaliações publicados usando os mesmos prompts dos artigos. Comparar modelos quantizados, adaptados com LoRA ou hospedados localmente com APIs hospedadas usando uma configuração unificada. Executar avaliações de regressão na CI quando os checkpoints do modelo mudarem.

Como instalar lm-evaluation-harness?

Clone o repositório: git clone --depth 1 https://github.com/EleutherAI/lm-evaluation-harness Entre no diretório do projeto e instale o pacote em modo editável: cd lm-evaluation-harness && pip install -e . Instale o backend de modelos do HuggingFace: pip install "lm_eval[hf]" Avalie um modelo do HuggingFace no hellaswag: lm_eval --model hf --model_args pretrained=EleutherAI/gpt-j-6B --tasks hellaswag --device cuda:0 --batch_size 8

Onde consigo lm-evaluation-harness?

O código-fonte e as instruções de instalação estão no GitHub: https://github.com/EleutherAI/lm-evaluation-harness