Repolode
Enviar
open-compass

open-compass/VLMEvalKit

Un toolkit de código abierto para evaluar modelos grandes de visión y lenguaje en numerosos benchmarks multimodales con un solo comando.

Ver en GitHubSitio web
Estrellas
4,475
Forks
789
Issues abiertos
322
Último commit
ayer

¿Qué es?

VLMEvalKit (nombre del paquete Python: vlmeval) evalúa modelos grandes de visión y lenguaje (LVLM) en diversos benchmarks de imágenes y video. Con un solo comando, los usuarios pueden evaluar un modelo compatible en un benchmark compatible. El toolkit se encarga de descargar y preprocesar los datasets, ejecutar la inferencia y calcular las métricas, sin necesidad de preparar datos desde varios repositorios.

Todos los modelos se evalúan mediante generación, y los resultados se presentan tanto con coincidencia exacta como mediante extracción de respuestas basada en LLM. El proyecto es compatible con numerosos modelos, incluidas API comerciales como GPT-4V y Gemini, y modelos de código abierto como Qwen-VL, LLaVA e InternVL. Los desarrolladores pueden añadir sus propios modelos implementando una sola función generate_inner().

El proyecto publica tablas de clasificación oficiales en Hugging Face y OpenCompass, y permite descargar los registros de evaluación. Las instrucciones de configuración indican versiones concretas de transformers y torchvision para cada modelo.

Funciones clave

  • 01Evalúa LVLM con un solo comando en decenas de benchmarks de imágenes y video.
  • 02Gestiona automáticamente la descarga y el preprocesamiento de datos, la inferencia y el cálculo de métricas.
  • 03Presenta resultados de coincidencia exacta y de extracción de respuestas basada en LLM.
  • 04Es compatible con API comerciales y una amplia variedad de modelos de visión y lenguaje de código abierto.
  • 05Permite añadir modelos nuevos implementando una sola función generate_inner().
  • 06Admite inferencia distribuida en varios nodos mediante LMDeploy o vLLM.

Casos de uso

  • Comparar varios modelos de visión y lenguaje con el mismo conjunto de benchmarks.
  • Evaluar un modelo multimodal propio frente a benchmarks consolidados.
  • Reproducir resultados publicados en tablas de clasificación de modelos multimodales.
  • Ejecutar evaluaciones a gran escala de modelos de razonamiento mediante inferencia distribuida.

Inicio rápido

  1. 1

    Lee la guía QuickStart para instalar y configurar

  2. 2

    Ejecuta la demo desde Python con un VLM compatible

Antes de usarlo

  • Algunos VLM requieren versiones específicas de transformers, por lo que puede ser necesario fijar la versión durante la configuración.
  • Los resultados pueden diferir de las cifras publicadas en los artículos originales porque se utiliza una evaluación basada en generación.

En colecciones

Herramientas, skills y plugins para Claude CodeBibliotecas y herramientas de visión artificial

Temas

#evaluation#vision-language-model#multimodal#benchmark#llm#computer-vision#vqa#pytorch#chatgpt#claude

Preguntas frecuentes

¿Qué es VLMEvalKit?
Un toolkit de código abierto para evaluar modelos grandes de visión y lenguaje en numerosos benchmarks multimodales con un solo comando. VLMEvalKit (nombre del paquete Python: vlmeval) evalúa modelos grandes de visión y lenguaje (LVLM) en diversos benchmarks de imágenes y video. Con un solo comando, los usuarios pueden evaluar un modelo compatible en un benchmark compatible. El toolkit se encarga de descargar y preprocesar los datasets, ejecutar la inferencia y calcular las métricas, sin necesidad de preparar datos desde varios repositorios.
¿VLMEvalKit es gratuito? ¿Qué licencia tiene?
VLMEvalKit es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿VLMEvalKit sigue mantenido?
Mantenimiento activo. El último commit de VLMEvalKit fue el 6 nov 2026.
¿Para qué puedo usar VLMEvalKit?
Comparar varios modelos de visión y lenguaje con el mismo conjunto de benchmarks. Evaluar un modelo multimodal propio frente a benchmarks consolidados. Reproducir resultados publicados en tablas de clasificación de modelos multimodales. Ejecutar evaluaciones a gran escala de modelos de razonamiento mediante inferencia distribuida.
¿Cómo se instala VLMEvalKit?
Lee la guía QuickStart para instalar y configurar Ejecuta la demo desde Python con un VLM compatible
¿Dónde consigo VLMEvalKit?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/open-compass/VLMEvalKit

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados