MMMU 可以免费使用吗？用的什么许可证？

MMMU 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

MMMU 还在维护吗？

半年内有更新。MMMU 最近一次提交是在 2026年7月28日。

MMMU 适合用来做什么？

评测视觉语言模型在学术图像上的专家级推理能力。在更难的 MMMU-Pro 纯视觉设置下比较多模态模型。借助公开的答案文件在本地完成测试集评测。

MMMU 怎么安装和运行？

安装 EvalScope 评测工具（社区维护的工作流）使用 EvalScope 对兼容 OpenAI 接口的端点运行 MMMU 评测: evalscope eval \ --model YOUR_MODEL \ --api-url OPENAI_API_COMPAT_URL \ --api-key EMPTY_TOKEN \ --datasets mmmu \ --limit 10

在哪里获取 MMMU？

源代码和安装说明在 GitHub 上：https://github.com/MMMU-Benchmark/MMMU

MMMU-Benchmark/MMMU

Q: MMMU 怎么安装和运行？

安装 EvalScope 评测工具（社区维护的工作流） 使用 EvalScope 对兼容 OpenAI 接口的端点运行 MMMU 评测: evalscope eval \ --model YOUR_MODEL \ --api-url OPENAI_API_COMPAT_URL \ --api-key EMPTY_TOKEN \ --datasets mmmu \ --limit 10

MMMU 与 MMMU-Pro 多学科多模态基准的评测代码，考察模型对大学水平图文问题的理解与推理。

在 GitHub 查看官网

Star: 598
Fork: 56
未关闭 Issue: 48
最近提交: 3个月前

这是什么？

MMMU 是一个包含约 1.15 万道多模态题目的基准，题目取自大学考试、测验和教材，覆盖六大学科、30 个科目和 32 种图像类型，如图表、示意图、地图、表格和化学结构。它用于考察模型的专家级感知与推理能力，而不仅仅是常规视觉识别。

MMMU-Pro 是其加强版，过滤掉仅凭文本即可作答的题目，增加候选选项，并提供纯视觉输入设置，把题目嵌入图像中。仓库分别为两个基准提供评测代码，并包含开发集、验证集和测试集的划分。

测试集答案现已公开，可使用与验证集相同的流程在本地评测模型。仓库还给出了社区维护的 EvalScope 集成方式，可用于对 OpenAI 兼容接口的模型进行 MMMU 评测。

核心功能

01覆盖六大学科、30 个科目的约 1.15 万道大学水平多模态题目。
02提供 MMMU-Pro，包含过滤后的题目、额外选项和纯视觉输入设置。
03包含开发集、验证集，并公开测试集答案以便本地评测。
04给出基于 EvalScope 对 OpenAI 兼容接口模型进行评测的方法。

适用场景

评测视觉语言模型在学术图像上的专家级推理能力。
在更难的 MMMU-Pro 纯视觉设置下比较多模态模型。
借助公开的答案文件在本地完成测试集评测。

快速上手

1
安装 EvalScope 评测工具（社区维护的工作流）
2
使用 EvalScope 对兼容 OpenAI 接口的端点运行 MMMU 评测
evalscope eval \ --model YOUR_MODEL \ --api-url OPENAI_API_COMPAT_URL \ --api-key EMPTY_TOKEN \ --datasets mmmu \ --limit 10

使用前须知

本仓库主要是评测代码和数据指引，并非独立的软件产品。
快速开始使用的是第三方社区集成，而非官方评测流程。
运行评测需要可访问的模型端点，可能需要 API 密钥或计算资源。

常见问题

MMMU 是什么？: MMMU 与 MMMU-Pro 多学科多模态基准的评测代码，考察模型对大学水平图文问题的理解与推理。 MMMU 是一个包含约 1.15 万道多模态题目的基准，题目取自大学考试、测验和教材，覆盖六大学科、30 个科目和 32 种图像类型，如图表、示意图、地图、表格和化学结构。它用于考察模型的专家级感知与推理能力，而不仅仅是常规视觉识别。
MMMU 可以免费使用吗？用的什么许可证？: MMMU 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
MMMU 还在维护吗？: 半年内有更新。MMMU 最近一次提交是在 2026年7月28日。
MMMU 适合用来做什么？: 评测视觉语言模型在学术图像上的专家级推理能力。在更难的 MMMU-Pro 纯视觉设置下比较多模态模型。借助公开的答案文件在本地完成测试集评测。
MMMU 怎么安装和运行？: 安装 EvalScope 评测工具（社区维护的工作流）使用 EvalScope 对兼容 OpenAI 接口的端点运行 MMMU 评测: evalscope eval \ --model YOUR_MODEL \ --api-url OPENAI_API_COMPAT_URL \ --api-key EMPTY_TOKEN \ --datasets mmmu \ --limit 10
在哪里获取 MMMU？: 源代码和安装说明在 GitHub 上：https://github.com/MMMU-Benchmark/MMMU

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。