EleutherAI/lm-evaluation-harness

这是什么？

核心功能

• 01覆盖 60 多个标准学术大模型基准，包含数百个子任务。
• 02支持 Hugging Face transformers、vLLM、SGLang、llama.cpp、ONNX Runtime 和 NeMo 等后端。
• 03可评测 OpenAI、Anthropic、TextSynth 等商业 API 提供的模型。
• 04通过数据并行、模型切分和张量并行实现多卡评测。
• 05任务和提示词以 YAML 定义，可通过命令行或 Python API 运行。
• 06支持通过配置或插件添加自定义任务、指标和模型后端。

适用场景

• 用标准学术任务评测新训练或微调的模型。
• 使用论文中相同的提示词复现已发表的评测结果。
• 在统一流程中比较量化、LoRA 适配或自部署模型与商业 API 的表现。
• 模型检查点更新时，在 CI 中运行回归评测。

快速上手

1. 1

   克隆代码仓库

   git clone --depth 1 https://github.com/EleutherAI/lm-evaluation-harness
2. 2

   进入项目目录并以可编辑模式安装

   cd lm-evaluation-harness && pip install -e .
3. 3

   安装 HuggingFace 模型后端

   pip install "lm_eval[hf]"
4. 4

   在 hellaswag 任务上评测 HuggingFace 模型

   lm_eval --model hf --model_args pretrained=EleutherAI/gpt-j-6B --tasks hellaswag --device cuda:0 --batch_size 8

使用前须知

• !HuggingFace 或 vLLM 等模型后端需要单独安装，示例运行假定使用支持 CUDA 的 GPU。

标签

常见问题

lm-evaluation-harness 是什么？

统一的语言模型少样本评测框架，覆盖大量标准学术基准测试。 lm-evaluation-harness 是一个用于评测生成式语言模型的框架，内置 60 多个标准学术基准，包含数百个子任务和变体。它使用公开的提示词模板，便于不同论文之间的结果对比。

lm-evaluation-harness 可以免费使用吗？用的什么许可证？

lm-evaluation-harness 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。

lm-evaluation-harness 还在维护吗？

半年内有更新。lm-evaluation-harness 最近一次提交是在 2026年9月14日。

lm-evaluation-harness 适合用来做什么？

用标准学术任务评测新训练或微调的模型。 使用论文中相同的提示词复现已发表的评测结果。 在统一流程中比较量化、LoRA 适配或自部署模型与商业 API 的表现。 模型检查点更新时，在 CI 中运行回归评测。

lm-evaluation-harness 怎么安装和运行？

克隆代码仓库: git clone --depth 1 https://github.com/EleutherAI/lm-evaluation-harness 进入项目目录并以可编辑模式安装: cd lm-evaluation-harness && pip install -e . 安装 HuggingFace 模型后端: pip install "lm_eval[hf]" 在 hellaswag 任务上评测 HuggingFace 模型: lm_eval --model hf --model_args pretrained=EleutherAI/gpt-j-6B --tasks hellaswag --device cuda:0 --batch_size 8

在哪里获取 lm-evaluation-harness？

源代码和安装说明在 GitHub 上：https://github.com/EleutherAI/lm-evaluation-harness