EleutherAI/lm-evaluation-harness

これは何？

主な機能

• 0160を超える標準的な学術LLMベンチマークと数百のサブタスクに対応。
• 02Hugging Face transformers、vLLM、SGLang、llama.cpp、ONNX Runtime、NeMoのバックエンドをサポート。
• 03OpenAI、Anthropic、TextSynthなどのAPIプロバイダーがホストするモデルを評価。
• 04データ並列化、モデルシャーディング、テンソル並列化による複数GPU評価に対応。
• 05タスクとプロンプトをYAMLで定義し、CLIまたはPython APIから実行。
• 06設定またはプラグインを通じて、カスタムタスク、メトリクス、モデルバックエンドを追加可能。

ユースケース

• 新たに学習またはファインチューニングしたモデルを、標準的な学術タスクでベンチマークする。
• 論文で使われたものと同じプロンプトを用いて、公開済みの評価結果を再現する。
• 量子化モデル、LoRA適用モデル、自前でホストするモデルを、統一された環境でホスト型APIと比較する。
• モデルのチェックポイントが変更された際に、CIで回帰評価を実行する。

クイックスタート

1. 1

   リポジトリをクローンする

   git clone --depth 1 https://github.com/EleutherAI/lm-evaluation-harness
2. 2

   プロジェクトディレクトリに移動し、パッケージを編集可能モードでインストールする

   cd lm-evaluation-harness && pip install -e .
3. 3

   HuggingFaceモデルバックエンドをインストールする

   pip install "lm_eval[hf]"
4. 4

   hellaswagでHuggingFaceモデルを評価する

   lm_eval --model hf --model_args pretrained=EleutherAI/gpt-j-6B --tasks hellaswag --device cuda:0 --batch_size 8

使う前に知っておきたいこと

• !HuggingFaceやvLLMなどのモデルバックエンドは別途インストールする必要があります。また、実行例ではCUDA対応GPUを使用することを前提としています。

トピック

よくある質問

lm-evaluation-harness とは？

数十種類の標準的な学術ベンチマークを使って、言語モデルの few-shot 評価を実行する統合フレームワーク。 lm-evaluation-harnessは、多数の標準ベンチマークを使って生成言語モデルを評価するフレームワークです。60を超える学術ベンチマークと数百のサブタスクやバリエーションを実装しており、論文間で結果を比較できるよう、公開されているプロンプトを使用します。

lm-evaluation-harness は無料で使えますか？ライセンスは？

lm-evaluation-harness は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

lm-evaluation-harness は今もメンテナンスされていますか？

半年以内に更新あり。lm-evaluation-harness の最終コミットは 2026年9月14日 です。

lm-evaluation-harness は何に使えますか？

新たに学習またはファインチューニングしたモデルを、標準的な学術タスクでベンチマークする。 論文で使われたものと同じプロンプトを用いて、公開済みの評価結果を再現する。 量子化モデル、LoRA適用モデル、自前でホストするモデルを、統一された環境でホスト型APIと比較する。 モデルのチェックポイントが変更された際に、CIで回帰評価を実行する。

lm-evaluation-harness のインストール方法は？

リポジトリをクローンする: git clone --depth 1 https://github.com/EleutherAI/lm-evaluation-harness プロジェクトディレクトリに移動し、パッケージを編集可能モードでインストールする: cd lm-evaluation-harness && pip install -e . HuggingFaceモデルバックエンドをインストールする: pip install "lm_eval[hf]" hellaswagでHuggingFaceモデルを評価する: lm_eval --model hf --model_args pretrained=EleutherAI/gpt-j-6B --tasks hellaswag --device cuda:0 --batch_size 8

lm-evaluation-harness はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/EleutherAI/lm-evaluation-harness