Repolode
Enviar
EvolvingLMMs-Lab

EvolvingLMMs-Lab/lmms-eval

Um toolkit unificado para avaliar modelos multimodais em tarefas de imagem, vídeo e áudio, com mais de 100 benchmarks e mais de 30 backends de modelos.

Ver no GitHubSite
Estrelas
4,490
Forks
687
Issues abertas
67
Último commit
há 4 horas

O que é?

lmms-eval é um toolkit de avaliação de grandes modelos multimodais. Ele executa um modelo em um conjunto compartilhado de benchmarks de compreensão de imagem, vídeo e áudio, para que as equipes comparem resultados nas mesmas tarefas e com o mesmo pipeline, sem precisar combinar datasets dispersos e scripts de pós-processamento.

O projeto inclui mais de 100 tarefas, como MMMU, MME, MMBench, MathVista, VideoMME e EgoSchema, e oferece suporte a mais de 30 famílias de modelos, incluindo Qwen2.5-VL, Qwen3-VL, LLaVA-OneVision e InternVL-2. Os modelos podem ser executados localmente, por meio de servidores vLLM ou SGLang, ou usando qualquer API compatível com OpenAI. Também é possível adicionar benchmarks personalizados com configuração YAML e uma função que converte documentos em mensagens.

Além do executor de linha de comando, o projeto inclui uma interface web para configurar e monitorar execuções e um servidor HTTP de avaliação que recebe tarefas assíncronas, o que é útil para avaliar checkpoints durante o treinamento. É um fork do lm-evaluation-harness adaptado para entradas multimodais.

Recursos principais

  • 01Executa mais de 100 benchmarks de imagem, vídeo e áudio em um único pipeline.
  • 02Oferece suporte a mais de 30 famílias de modelos, além de endpoints de API compatíveis com OpenAI.
  • 03Integra-se ao vLLM e ao SGLang para avaliações por meio de servidores de inferência.
  • 04Oferece uma interface web para configurar execuções e consultar resultados salvos.
  • 05Disponibiliza um servidor HTTP de avaliação com uma fila de tarefas assíncronas.
  • 06Permite adicionar tarefas personalizadas usando YAML e uma função para montar mensagens.

Casos de uso

  • Comparar um modelo multimodal com benchmarks padrão de imagem ou vídeo.
  • Avaliar checkpoints de treinamento automaticamente durante o treinamento do modelo.
  • Avaliar modelos hospedados em APIs, como o GPT-4o, junto com modelos de pesos abertos.
  • Adicionar um dataset interno de avaliação a um pipeline compartilhado e reproduzível.

Início rápido

  1. 1

    Clone o repositório

    git clone https://github.com/EvolvingLMMs-Lab/lmms-eval.git
  2. 2

    Instale o pacote em modo editável com uv

    cd lmms-eval && uv pip install -e ".[all]"
  3. 3

    Execute uma avaliação rápida (Qwen2.5-VL no MME, 8 amostras)

    python -m lmms_eval --model qwen2_5_vl --model_args pretrained=Qwen/Qwen2.5-VL-3B-Instruct --tasks mme --batch_size 1 --limit 8

Antes de usar

  • Os metadados não informam uma licença clara (NOASSERTION), então confira os termos da licença antes de reutilizar o projeto.
  • Algumas tarefas precisam de chaves de API, como as da OpenAI ou da Reka, e algumas tarefas de legendagem precisam do Java 8 instalado.
  • Executar avaliações com modelos locais geralmente exige uma GPU e um grande conjunto de dependências.

Em coleções

Frameworks de teste e ferramentas de automação de testes

Tópicos

#multimodal#vision-language-model#benchmark#evaluation#video-understanding#audio-evaluation#llm-evaluation#agi#large-language-models#multimodal-evaluation

Perguntas frequentes

O que é lmms-eval?
Um toolkit unificado para avaliar modelos multimodais em tarefas de imagem, vídeo e áudio, com mais de 100 benchmarks e mais de 30 backends de modelos. lmms-eval é um toolkit de avaliação de grandes modelos multimodais. Ele executa um modelo em um conjunto compartilhado de benchmarks de compreensão de imagem, vídeo e áudio, para que as equipes comparem resultados nas mesmas tarefas e com o mesmo pipeline, sem precisar combinar datasets dispersos e scripts de pós-processamento.
lmms-eval é gratuito? Qual é a licença?
lmms-eval é open source sob a licença Other. Confira os termos da licença antes de usá-lo em produtos comerciais.
lmms-eval ainda é mantido?
Manutenção ativa. O último commit de lmms-eval foi em 7 de nov. de 2026.
Para que posso usar lmms-eval?
Comparar um modelo multimodal com benchmarks padrão de imagem ou vídeo. Avaliar checkpoints de treinamento automaticamente durante o treinamento do modelo. Avaliar modelos hospedados em APIs, como o GPT-4o, junto com modelos de pesos abertos. Adicionar um dataset interno de avaliação a um pipeline compartilhado e reproduzível.
Como instalar lmms-eval?
Clone o repositório: git clone https://github.com/EvolvingLMMs-Lab/lmms-eval.git Instale o pacote em modo editável com uv: cd lmms-eval && uv pip install -e ".[all]" Execute uma avaliação rápida (Qwen2.5-VL no MME, 8 amostras): python -m lmms_eval --model qwen2_5_vl --model_args pretrained=Qwen/Qwen2.5-VL-3B-Instruct --tasks mme --batch_size 1 --limit 8
Onde consigo lmms-eval?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/EvolvingLMMs-Lab/lmms-eval

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados