Repolode
Enviar
open-compass

open-compass/VLMEvalKit

Um toolkit open source para avaliar modelos grandes de visão e linguagem em diversos benchmarks multimodais com um único comando.

Ver no GitHubSite
Estrelas
4,475
Forks
789
Issues abertas
322
Último commit
há 19 horas

O que é?

VLMEvalKit (nome do pacote Python: vlmeval) avalia modelos grandes de visão e linguagem (LVLMs) em diversos benchmarks de imagem e vídeo. Com um único comando, os usuários avaliam um modelo compatível em um benchmark compatível. O toolkit cuida do download dos datasets, do pré-processamento, da inferência e do cálculo das métricas, eliminando a necessidade de preparar dados em vários repositórios.

Todos os modelos são avaliados com métodos baseados em geração, e os resultados são apresentados tanto por correspondência exata quanto por extração de respostas baseada em LLM. O projeto oferece suporte a muitos modelos, incluindo APIs comerciais, como GPT-4V e Gemini, e modelos open source, como Qwen-VL, LLaVA e InternVL. Desenvolvedores de modelos podem adicionar seus próprios modelos implementando uma única função, generate_inner().

O projeto publica rankings oficiais no Hugging Face e no OpenCompass, e permite baixar os registros das avaliações. As notas de configuração listam versões específicas de transformers e torchvision para modelos individuais.

Recursos principais

  • 01Executa avaliações de LVLMs com um único comando em dezenas de benchmarks de imagem e vídeo.
  • 02Cuida automaticamente do download dos dados, do pré-processamento, da inferência e do cálculo das métricas.
  • 03Apresenta resultados tanto por correspondência exata quanto por extração de respostas baseada em LLM.
  • 04Oferece suporte a APIs comerciais e a uma ampla variedade de modelos open source de visão e linguagem.
  • 05Permite que desenvolvedores adicionem um novo modelo implementando uma única função, generate_inner().
  • 06Oferece suporte à inferência distribuída em vários nós via LMDeploy ou vLLM.

Casos de uso

  • Comparar vários modelos de visão e linguagem nos mesmos benchmarks.
  • Avaliar um modelo multimodal desenvolvido internamente em benchmarks consolidados.
  • Reproduzir resultados publicados em rankings de modelos multimodais.
  • Executar avaliações em larga escala de modelos de raciocínio com inferência distribuída.

Início rápido

  1. 1

    Leia o guia QuickStart para fazer a instalação e a configuração

  2. 2

    Execute a demonstração com um VLM compatível usando Python

Antes de usar

  • Alguns VLMs exigem versões específicas de transformers, então pode ser necessário fixar a versão durante a configuração.
  • Os resultados podem diferir dos números relatados nos artigos originais porque é usada uma avaliação baseada em geração.

Em coleções

Ferramentas, skills e plugins para Claude CodeBibliotecas e ferramentas de visão computacional

Tópicos

#evaluation#vision-language-model#multimodal#benchmark#llm#computer-vision#vqa#pytorch#chatgpt#claude

Perguntas frequentes

O que é VLMEvalKit?
Um toolkit open source para avaliar modelos grandes de visão e linguagem em diversos benchmarks multimodais com um único comando. VLMEvalKit (nome do pacote Python: vlmeval) avalia modelos grandes de visão e linguagem (LVLMs) em diversos benchmarks de imagem e vídeo. Com um único comando, os usuários avaliam um modelo compatível em um benchmark compatível. O toolkit cuida do download dos datasets, do pré-processamento, da inferência e do cálculo das métricas, eliminando a necessidade de preparar dados em vários repositórios.
VLMEvalKit é gratuito? Qual é a licença?
VLMEvalKit é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
VLMEvalKit ainda é mantido?
Manutenção ativa. O último commit de VLMEvalKit foi em 6 de nov. de 2026.
Para que posso usar VLMEvalKit?
Comparar vários modelos de visão e linguagem nos mesmos benchmarks. Avaliar um modelo multimodal desenvolvido internamente em benchmarks consolidados. Reproduzir resultados publicados em rankings de modelos multimodais. Executar avaliações em larga escala de modelos de raciocínio com inferência distribuída.
Como instalar VLMEvalKit?
Leia o guia QuickStart para fazer a instalação e a configuração Execute a demonstração com um VLM compatível usando Python
Onde consigo VLMEvalKit?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/open-compass/VLMEvalKit

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados