EvolvingLMMs-Lab/lmms-eval

これは何？

主な機能

• 01画像・動画・音声を対象とする100以上のベンチマークを、単一のパイプラインで実行できます。
• 0230を超えるモデルファミリーと、OpenAI互換APIエンドポイントに対応しています。
• 03vLLMやSGLangと連携し、サーバー経由で評価できます。
• 04実行を設定し、保存済みの結果を確認できるWeb UIを提供します。
• 05非同期ジョブキューを備えたHTTP評価サーバーを利用できます。
• 06YAMLとメッセージ構築関数を使って、独自のタスクを追加できます。

ユースケース

• マルチモーダルモデルを標準的な画像・動画ベンチマークで比較する。
• モデルの学習中にチェックポイントを自動評価する。
• GPT-4oなどのAPI経由で利用するモデルを、オープンウェイトモデルと並べてベンチマークする。
• 社内の評価データセットを、共有可能で再現性のあるパイプラインに追加する。

クイックスタート

1. 1

   リポジトリをクローンする

   git clone https://github.com/EvolvingLMMs-Lab/lmms-eval.git
2. 2

   uvでパッケージを編集可能モードでインストールする

   cd lmms-eval && uv pip install -e ".[all]"
3. 3

   簡易評価を実行する（MMEでQwen2.5-VL、8サンプル）

   python -m lmms_eval --model qwen2_5_vl --model_args pretrained=Qwen/Qwen2.5-VL-3B-Instruct --tasks mme --batch_size 1 --limit 8

使う前に知っておきたいこと

• !メタデータに明確なライセンスが記載されていません（NOASSERTION）。再利用する前にライセンス条件を確認してください。
• !一部のタスクではOpenAIやRekaなどのAPIキーが必要です。また、一部のキャプションタスクではJava 8のインストールが必要です。
• !ローカルモデルで評価を実行するには、通常GPUと多数の依存関係が必要です。

収録されている特集

トピック

よくある質問

lmms-eval とは？

画像・動画・音声タスクを対象に、100以上のベンチマークと30以上のモデルバックエンドでマルチモーダルモデルを評価する統合ツールキット。 lmms-evalは、大規模マルチモーダルモデル向けの評価ツールキットです。画像・動画・音声の理解を対象とする共通のベンチマーク群でモデルを評価するため、散在するデータセットや後処理スクリプトを寄せ集めることなく、同じタスクとパイプラインで結果を比較できます。

lmms-eval は無料で使えますか？ライセンスは？

lmms-eval は Other ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

lmms-eval は今もメンテナンスされていますか？

活発にメンテナンス中。lmms-eval の最終コミットは 2026年11月7日 です。

lmms-eval は何に使えますか？

マルチモーダルモデルを標準的な画像・動画ベンチマークで比較する。 モデルの学習中にチェックポイントを自動評価する。 GPT-4oなどのAPI経由で利用するモデルを、オープンウェイトモデルと並べてベンチマークする。 社内の評価データセットを、共有可能で再現性のあるパイプラインに追加する。

lmms-eval のインストール方法は？

リポジトリをクローンする: git clone https://github.com/EvolvingLMMs-Lab/lmms-eval.git uvでパッケージを編集可能モードでインストールする: cd lmms-eval && uv pip install -e ".[all]" 簡易評価を実行する（MMEでQwen2.5-VL、8サンプル）: python -m lmms_eval --model qwen2_5_vl --model_args pretrained=Qwen/Qwen2.5-VL-3B-Instruct --tasks mme --batch_size 1 --limit 8

lmms-eval はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/EvolvingLMMs-Lab/lmms-eval