MMMU-Benchmark/MMMU

これは何？

主な機能

• 016分野・30科目にわたる、大学レベルのマルチモーダル問題11.5K問を収録。
• 02問題の絞り込みや選択肢の追加、vision-only入力設定を備えたMMMU-Proを提供。
• 03開発・検証データに加え、正解が公開されたテストセットを収録し、ローカル評価に対応。
• 04OpenAI互換のモデルエンドポイント向けに、EvalScopeを使った実行方法を説明。

ユースケース

• 学術画像を用いて、視覚言語モデルの専門家レベルの推論能力をベンチマークする。
• 難易度の高いvision-only設定で、マルチモーダルモデルをMMMU-Pro上で比較する。
• 公開済みの正解ファイルを使って、テストセットの評価をローカルで実行する。

クイックスタート

1. 1

   EvalScope評価ツール（コミュニティがメンテナンスするワークフロー）をインストールする

2. 2

   EvalScopeを使って、OpenAI互換エンドポイントでMMMU評価を実行する

   evalscope eval \ --model YOUR_MODEL \ --api-url OPENAI_API_COMPAT_URL \ --api-key EMPTY_TOKEN \ --datasets mmmu \ --limit 10

使う前に知っておきたいこと

• !このリポジトリは主に評価コードとデータへの参照先であり、単体で使えるソフトウェア製品ではありません。
• !クイックスタートでは、公式パイプラインではなく、サードパーティのコミュニティ統合を使用します。
• !評価の実行にはモデルエンドポイントへのアクセスが必要で、APIキーや計算リソースが必要になる場合があります。

トピック

よくある質問

MMMU とは？

大学レベルの幅広い分野にまたがる問題でマルチモーダルモデルを評価する、MMMUおよびMMMU-Proベンチマークの評価コードとデータへのリンク。 MMMUは、大学の試験や小テスト、教科書から集めた約11.5K問のマルチモーダル問題で構成されるベンチマークです。6分野、30科目を網羅し、グラフ、図、地図、化学構造式など32種類の画像を扱います。一般的な視覚認識ではなく、専門家レベルの知覚と推論を評価することを目的としています。

MMMU は無料で使えますか？ライセンスは？

MMMU は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

MMMU は今もメンテナンスされていますか？

半年以内に更新あり。MMMU の最終コミットは 2026年7月28日 です。

MMMU は何に使えますか？

学術画像を用いて、視覚言語モデルの専門家レベルの推論能力をベンチマークする。 難易度の高いvision-only設定で、マルチモーダルモデルをMMMU-Pro上で比較する。 公開済みの正解ファイルを使って、テストセットの評価をローカルで実行する。

MMMU のインストール方法は？

EvalScope評価ツール（コミュニティがメンテナンスするワークフロー）をインストールする EvalScopeを使って、OpenAI互換エンドポイントでMMMU評価を実行する: evalscope eval \ --model YOUR_MODEL \ --api-url OPENAI_API_COMPAT_URL \ --api-key EMPTY_TOKEN \ --datasets mmmu \ --limit 10

MMMU はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/MMMU-Benchmark/MMMU