Repolode
Enviar
MMMU-Benchmark

MMMU-Benchmark/MMMU

Código de evaluación y referencias a los datos de los benchmarks MMMU y MMMU-Pro, que evalúan modelos multimodales con preguntas universitarias de distintas disciplinas.

Ver en GitHubSitio web
Estrellas
598
Forks
56
Issues abiertos
48
Último commit
hace 3 meses

¿Qué es?

MMMU es un benchmark con unas 11,5 mil preguntas multimodales extraídas de exámenes universitarios, cuestionarios y libros de texto. Abarca seis disciplinas, 30 materias y 32 tipos de imágenes, como gráficos, diagramas, mapas y estructuras químicas. Está pensado para evaluar la percepción y el razonamiento de nivel experto, no el reconocimiento visual general.

MMMU-Pro es una variante más difícil que filtra las preguntas que pueden responderse solo con texto, añade opciones de respuesta y ofrece una configuración exclusivamente visual en la que la pregunta aparece dentro de la imagen. El repositorio proporciona el código de evaluación de ambos benchmarks, en carpetas separadas, y las particiones de desarrollo, validación y prueba.

Ahora están publicadas las respuestas del conjunto de prueba, así que los modelos pueden evaluarse localmente con el mismo flujo de trabajo que se usa para el conjunto de validación. También se documenta una integración de EvalScope mantenida por la comunidad para ejecutar MMMU con endpoints compatibles con OpenAI.

Funciones clave

  • 01Abarca 11,5 mil preguntas multimodales de nivel universitario, repartidas entre seis disciplinas y 30 materias.
  • 02Incluye MMMU-Pro, con preguntas filtradas, opciones adicionales y una configuración de entrada exclusivamente visual.
  • 03Incluye las particiones de desarrollo y validación, además de las respuestas publicadas del conjunto de prueba para la evaluación local.
  • 04Documenta un flujo de trabajo con EvalScope para endpoints de modelos compatibles con OpenAI.

Casos de uso

  • Evaluar el razonamiento de nivel experto de un modelo de visión y lenguaje con imágenes académicas.
  • Comparar modelos multimodales en la configuración más difícil y exclusivamente visual de MMMU-Pro.
  • Ejecutar una evaluación local del conjunto de prueba con los archivos de respuestas publicados.

Inicio rápido

  1. 1

    Instala la herramienta de evaluación EvalScope (flujo de trabajo mantenido por la comunidad)

  2. 2

    Ejecuta la evaluación MMMU en un endpoint compatible con OpenAI mediante EvalScope

    evalscope eval \ --model YOUR_MODEL \ --api-url OPENAI_API_COMPAT_URL \ --api-key EMPTY_TOKEN \ --datasets mmmu \ --limit 10

Antes de usarlo

  • Este repositorio contiene principalmente código de evaluación y referencias a datos; no es un producto de software independiente.
  • La guía de inicio rápido utiliza una integración comunitaria de terceros, no la canalización oficial.
  • Para ejecutar las evaluaciones se necesita acceso a un endpoint de modelo, lo que puede requerir claves de API o recursos de cómputo.

Temas

#multimodal#benchmark#evaluation#large-multimodal-models#visual-question-answering#stem#computer-vision#deep-learning#deep-neural-networks#foundation-models

Preguntas frecuentes

¿Qué es MMMU?
Código de evaluación y referencias a los datos de los benchmarks MMMU y MMMU-Pro, que evalúan modelos multimodales con preguntas universitarias de distintas disciplinas. MMMU es un benchmark con unas 11,5 mil preguntas multimodales extraídas de exámenes universitarios, cuestionarios y libros de texto. Abarca seis disciplinas, 30 materias y 32 tipos de imágenes, como gráficos, diagramas, mapas y estructuras químicas. Está pensado para evaluar la percepción y el razonamiento de nivel experto, no el reconocimiento visual general.
¿MMMU es gratuito? ¿Qué licencia tiene?
MMMU es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿MMMU sigue mantenido?
Actualizado en los últimos 6 meses. El último commit de MMMU fue el 28 jul 2026.
¿Para qué puedo usar MMMU?
Evaluar el razonamiento de nivel experto de un modelo de visión y lenguaje con imágenes académicas. Comparar modelos multimodales en la configuración más difícil y exclusivamente visual de MMMU-Pro. Ejecutar una evaluación local del conjunto de prueba con los archivos de respuestas publicados.
¿Cómo se instala MMMU?
Instala la herramienta de evaluación EvalScope (flujo de trabajo mantenido por la comunidad) Ejecuta la evaluación MMMU en un endpoint compatible con OpenAI mediante EvalScope: evalscope eval \ --model YOUR_MODEL \ --api-url OPENAI_API_COMPAT_URL \ --api-key EMPTY_TOKEN \ --datasets mmmu \ --limit 10
¿Dónde consigo MMMU?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/MMMU-Benchmark/MMMU

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados