Repolode
Enviar
MMMU-Benchmark

MMMU-Benchmark/MMMU

Código de avaliação e referências aos dados dos benchmarks MMMU e MMMU-Pro, que testam modelos multimodais com questões universitárias de várias disciplinas.

Ver no GitHubSite
Estrelas
598
Forks
56
Issues abertas
48
Último commit
há 3 meses

O que é?

MMMU é um benchmark com cerca de 11,5 mil questões multimodais extraídas de provas, questionários e livros didáticos universitários, distribuídas por seis áreas, 30 disciplinas e 32 tipos de imagem, como gráficos, diagramas, mapas e estruturas químicas. O objetivo é testar percepção e raciocínio em nível especializado, em vez de reconhecimento visual geral.

MMMU-Pro é uma variante mais difícil que filtra questões que podem ser respondidas apenas com texto, adiciona opções de resposta e inclui um modo somente visual, no qual a questão é inserida na imagem. O repositório fornece o código de avaliação dos dois benchmarks, em pastas separadas, além dos conjuntos de desenvolvimento, validação e teste.

As respostas do conjunto de teste agora estão publicadas, permitindo avaliar modelos localmente com o mesmo pipeline usado no conjunto de validação. A documentação também descreve uma integração com o EvalScope, mantida pela comunidade, para executar o MMMU com endpoints compatíveis com OpenAI.

Recursos principais

  • 01Abrange 11,5 mil questões multimodais de nível universitário, distribuídas por seis áreas e 30 disciplinas.
  • 02Oferece o MMMU-Pro, com questões filtradas, opções adicionais e um modo de entrada somente visual.
  • 03Disponibiliza os conjuntos de desenvolvimento e validação, além das respostas publicadas do conjunto de teste para avaliação local.
  • 04Documenta um fluxo de trabalho com EvalScope para endpoints de modelos compatíveis com OpenAI.

Casos de uso

  • Avaliar o raciocínio em nível especializado de um modelo de visão e linguagem com imagens acadêmicas.
  • Comparar modelos multimodais no modo mais difícil e somente visual do MMMU-Pro.
  • Executar avaliações locais no conjunto de teste usando os arquivos de respostas publicados.

Início rápido

  1. 1

    Instale a ferramenta de avaliação EvalScope (fluxo de trabalho mantido pela comunidade)

  2. 2

    Execute a avaliação MMMU em um endpoint compatível com OpenAI usando o EvalScope

    evalscope eval \ --model YOUR_MODEL \ --api-url OPENAI_API_COMPAT_URL \ --api-key EMPTY_TOKEN \ --datasets mmmu \ --limit 10

Antes de usar

  • Este repositório contém principalmente código de avaliação e referências a dados; não é um produto de software independente.
  • O início rápido usa uma integração comunitária de terceiros, não o pipeline oficial.
  • Para executar as avaliações, é necessário ter acesso a um endpoint de modelo, o que pode exigir chaves de API ou recursos computacionais.

Tópicos

#multimodal#benchmark#evaluation#large-multimodal-models#visual-question-answering#stem#computer-vision#deep-learning#deep-neural-networks#foundation-models

Perguntas frequentes

O que é MMMU?
Código de avaliação e referências aos dados dos benchmarks MMMU e MMMU-Pro, que testam modelos multimodais com questões universitárias de várias disciplinas. MMMU é um benchmark com cerca de 11,5 mil questões multimodais extraídas de provas, questionários e livros didáticos universitários, distribuídas por seis áreas, 30 disciplinas e 32 tipos de imagem, como gráficos, diagramas, mapas e estruturas químicas. O objetivo é testar percepção e raciocínio em nível especializado, em vez de reconhecimento visual geral.
MMMU é gratuito? Qual é a licença?
MMMU é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
MMMU ainda é mantido?
Atualizado nos últimos 6 meses. O último commit de MMMU foi em 28 de jul. de 2026.
Para que posso usar MMMU?
Avaliar o raciocínio em nível especializado de um modelo de visão e linguagem com imagens acadêmicas. Comparar modelos multimodais no modo mais difícil e somente visual do MMMU-Pro. Executar avaliações locais no conjunto de teste usando os arquivos de respostas publicados.
Como instalar MMMU?
Instale a ferramenta de avaliação EvalScope (fluxo de trabalho mantido pela comunidade) Execute a avaliação MMMU em um endpoint compatível com OpenAI usando o EvalScope: evalscope eval \ --model YOUR_MODEL \ --api-url OPENAI_API_COMPAT_URL \ --api-key EMPTY_TOKEN \ --datasets mmmu \ --limit 10
Onde consigo MMMU?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/MMMU-Benchmark/MMMU

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados