EleutherAI/lm-evaluation-harness

Что это?

Ключевые возможности

• 01Охватывает более 60 стандартных академических бенчмарков для LLM с сотнями подзадач.
• 02Поддерживает бэкенды Hugging Face transformers, vLLM, SGLang, llama.cpp, ONNX Runtime и NeMo.
• 03Оценивает хостируемые модели от OpenAI, Anthropic, TextSynth и других провайдеров API.
• 04Поддерживает оценку на нескольких GPU с помощью параллелизма данных, шардинга модели и тензорного параллелизма.
• 05Позволяет задавать задачи и промпты в YAML и запускать их через CLI или Python API.
• 06Позволяет добавлять собственные задачи, метрики и бэкенды моделей через конфигурацию или плагины.

Сценарии использования

• Сравнение недавно обученной или дообученной модели со стандартными академическими задачами.
• Воспроизведение опубликованных результатов оценки с теми же промптами, что использовались в статьях.
• Сравнение квантованных моделей, моделей с адаптерами LoRA и моделей на собственном хостинге с хостируемыми API в единой конфигурации.
• Запуск регрессионных оценок в CI при изменении чекпойнтов модели.

Быстрый старт

1. 1

   Клонируйте репозиторий

   git clone --depth 1 https://github.com/EleutherAI/lm-evaluation-harness
2. 2

   Перейдите в каталог проекта и установите пакет в редактируемом режиме

   cd lm-evaluation-harness && pip install -e .
3. 3

   Установите бэкенд моделей HuggingFace

   pip install "lm_eval[hf]"
4. 4

   Оцените модель HuggingFace на hellaswag

   lm_eval --model hf --model_args pretrained=EleutherAI/gpt-j-6B --tasks hellaswag --device cuda:0 --batch_size 8

Что важно знать

• !Бэкенды моделей, такие как HuggingFace или vLLM, необходимо устанавливать отдельно; в примере предполагается использование GPU с поддержкой CUDA.

Темы

Частые вопросы

Что такое lm-evaluation-harness?

Единый фреймворк для few-shot-оценки языковых моделей на десятках стандартных академических бенчмарков. lm-evaluation-harness — фреймворк для оценки генеративных языковых моделей на большом наборе стандартных бенчмарков. В нём реализовано более 60 академических бенчмарков с сотнями подзадач и вариантов, а для сопоставимости результатов в разных статьях используются общедоступные промпты.

lm-evaluation-harness можно использовать бесплатно? Какая у него лицензия?

lm-evaluation-harness распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.

lm-evaluation-harness всё ещё поддерживается?

Обновлялся за последние 6 месяцев. Последний коммит в lm-evaluation-harness — 14 сент. 2026 г..

Для чего можно использовать lm-evaluation-harness?

Сравнение недавно обученной или дообученной модели со стандартными академическими задачами. Воспроизведение опубликованных результатов оценки с теми же промптами, что использовались в статьях. Сравнение квантованных моделей, моделей с адаптерами LoRA и моделей на собственном хостинге с хостируемыми API в единой конфигурации. Запуск регрессионных оценок в CI при изменении чекпойнтов модели.

Как установить lm-evaluation-harness?

Клонируйте репозиторий: git clone --depth 1 https://github.com/EleutherAI/lm-evaluation-harness Перейдите в каталог проекта и установите пакет в редактируемом режиме: cd lm-evaluation-harness && pip install -e . Установите бэкенд моделей HuggingFace: pip install "lm_eval[hf]" Оцените модель HuggingFace на hellaswag: lm_eval --model hf --model_args pretrained=EleutherAI/gpt-j-6B --tasks hellaswag --device cuda:0 --batch_size 8

Где скачать lm-evaluation-harness?

Исходный код и инструкции по установке — на GitHub: https://github.com/EleutherAI/lm-evaluation-harness