MMMU-Benchmark/MMMU

Что это?

Ключевые возможности

• 01Охватывает 11,5 тыс. мультимодальных вопросов университетского уровня по шести дисциплинам и 30 предметным областям.
• 02Предоставляет MMMU-Pro с отфильтрованными вопросами, дополнительными вариантами ответа и режимом ввода только для зрения.
• 03Включает обучающую и валидационную выборки, а также опубликованные ответы для тестовой выборки, чтобы проводить оценку локально.
• 04Описывает процесс работы с EvalScope для эндпоинтов моделей, совместимых с OpenAI.

Сценарии использования

• Оценка рассуждений экспертного уровня у vision-language-модели на академических изображениях.
• Сравнение мультимодальных моделей в более сложном режиме MMMU-Pro, где доступны только изображения.
• Локальная оценка на тестовой выборке с использованием опубликованных файлов ответов.

Быстрый старт

1. 1

   Установите инструмент оценки EvalScope (рабочий процесс, поддерживаемый сообществом)

2. 2

   Запустите оценку MMMU через совместимый с OpenAI эндпоинт с помощью EvalScope

   evalscope eval \ --model YOUR_MODEL \ --api-url OPENAI_API_COMPAT_URL \ --api-key EMPTY_TOKEN \ --datasets mmmu \ --limit 10

Что важно знать

• !Этот репозиторий содержит в основном код для оценки и ссылки на данные, а не отдельный программный продукт.
• !В инструкции по быстрому запуску используется сторонняя интеграция сообщества, а не официальный конвейер.
• !Для запуска оценок нужен доступ к эндпоинту модели; могут потребоваться ключи API или вычислительные ресурсы.

Темы

Частые вопросы

Что такое MMMU?

Код оценки и ссылки на данные бенчмарков MMMU и MMMU-Pro, проверяющих мультимодальные модели на междисциплинарных вопросах университетского уровня. MMMU — это бенчмарк примерно из 11,5 тыс. мультимодальных вопросов, взятых из университетских экзаменов, тестов и учебников. Вопросы охватывают шесть дисциплин, 30 предметных областей и 32 типа изображений, включая графики, диаграммы, карты и химические структуры. Бенчмарк предназначен для проверки восприятия и рассуждений экспертного уровня, а не общего распознавания изображений.

MMMU можно использовать бесплатно? Какая у него лицензия?

MMMU распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

MMMU всё ещё поддерживается?

Обновлялся за последние 6 месяцев. Последний коммит в MMMU — 28 июл. 2026 г..

Для чего можно использовать MMMU?

Оценка рассуждений экспертного уровня у vision-language-модели на академических изображениях. Сравнение мультимодальных моделей в более сложном режиме MMMU-Pro, где доступны только изображения. Локальная оценка на тестовой выборке с использованием опубликованных файлов ответов.

Как установить MMMU?

Установите инструмент оценки EvalScope (рабочий процесс, поддерживаемый сообществом) Запустите оценку MMMU через совместимый с OpenAI эндпоинт с помощью EvalScope: evalscope eval \ --model YOUR_MODEL \ --api-url OPENAI_API_COMPAT_URL \ --api-key EMPTY_TOKEN \ --datasets mmmu \ --limit 10

Где скачать MMMU?

Исходный код и инструкции по установке — на GitHub: https://github.com/MMMU-Benchmark/MMMU