modelscope/evalscope

これは何？

主な機能

• 01MMLU、C-Eval、GSM8Kなどの組み込みベンチマークを、単一のコマンドで実行できます。
• 02OpenAI API互換エンドポイントと、ModelScopeからダウンロードしたローカルモデルを評価できます。
• 03モデルサービスの負荷テストを行い、TTFT、TPOT、スループットを報告します。
• 04モデルの比較や予測結果の確認に使えるWebダッシュボードを提供します。
• 05Arena形式のペアワイズ対戦に対応し、勝率とランキングを表示します。
• 06開発者がカスタムデータセット、モデル、メトリクスを追加できます。

ユースケース

• 複数の候補LLMを同じベンチマークで比較し、採用モデルを選定する。
• 負荷をかけた状態で、モデルサービング環境のレイテンシとスループットを測定する。
• サードパーティAPIのデプロイが、公式モデルと同等の挙動をするか確認する。
• 独自形式で定義したプライベートデータセットを使って、ファインチューニング済みモデルを評価する。

クイックスタート

1. 1

   PyPIからEvalScopeパッケージをインストールする

   pip install evalscope
2. 2

   OpenAI互換のモデルAPIに対して評価を実行する（先にエンドポイントとキーを設定してください）

   evalscope eval --model your-model-name --api-url $OPENAI_API_BASE_URL --api-key $OPENAI_API_KEY --eval-type openai_api --datasets gsm8k --limit 5

使う前に知っておきたいこと

• !クイックスタートの例を実行するには、OpenAI互換のモデルAPIエンドポイントとAPIキーが必要です。
• !SWE-benchなどのサンドボックス化されたベンチマークでエージェントを評価するには、Dockerが必要です。
• !このプロジェクトにはPython 3.10以降が必要です。

トピック

よくある質問

evalscope とは？

LLM、VLM、AIGCモデルのベンチマーク評価に加え、推論性能の負荷テストや結果のダッシュボード表示にも対応する、カスタマイズ可能なフレームワーク。 EvalScopeは、大規模言語モデルをはじめとする生成モデルを評価するためのフレームワークです。MMLU、C-Eval、GSM8Kなどの組み込みベンチマークを、OpenAI API互換エンドポイントまたはModelScopeからダウンロードしたローカルモデルに対して実行し、スコアをターミナルに表示できます。精度評価に加えて、モデルサービスのスループット、初回トークン生成時間（TTFT）、出力トークンあたりの時間（TPOT）を測定する負荷テストツールも備えています。

evalscope は無料で使えますか？ライセンスは？

evalscope は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

evalscope は今もメンテナンスされていますか？

活発にメンテナンス中。evalscope の最終コミットは 2026年10月21日 です。

evalscope は何に使えますか？

複数の候補LLMを同じベンチマークで比較し、採用モデルを選定する。 負荷をかけた状態で、モデルサービング環境のレイテンシとスループットを測定する。 サードパーティAPIのデプロイが、公式モデルと同等の挙動をするか確認する。 独自形式で定義したプライベートデータセットを使って、ファインチューニング済みモデルを評価する。

evalscope のインストール方法は？

PyPIからEvalScopeパッケージをインストールする: pip install evalscope OpenAI互換のモデルAPIに対して評価を実行する（先にエンドポイントとキーを設定してください）: evalscope eval --model your-model-name --api-url $OPENAI_API_BASE_URL --api-key $OPENAI_API_KEY --eval-type openai_api --datasets gsm8k --limit 5

evalscope はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/modelscope/evalscope