Repolode
Enviar
EvolvingLMMs-Lab

EvolvingLMMs-Lab/lmms-eval

Toolkit unificado para evaluar modelos multimodales en tareas de imagen, video y audio, con más de 100 benchmarks y más de 30 backends de modelos.

Ver en GitHubSitio web
Estrellas
4,490
Forks
687
Issues abiertos
67
Último commit
hace 4 horas

¿Qué es?

lmms-eval es un toolkit de evaluación para modelos multimodales grandes. Ejecuta un modelo con un conjunto común de benchmarks que cubre la comprensión de imágenes, video y audio, para que los equipos puedan comparar resultados en las mismas tareas y con el mismo pipeline, en lugar de combinar datasets dispersos y scripts de postprocesamiento.

El proyecto incluye más de 100 tareas, como MMMU, MME, MMBench, MathVista, VideoMME y EgoSchema, y admite más de 30 familias de modelos, entre ellas Qwen2.5-VL, Qwen3-VL, LLaVA-OneVision e InternVL-2. Los modelos pueden ejecutarse localmente, a través de servidores vLLM o SGLang, o mediante cualquier API compatible con OpenAI. También se pueden añadir benchmarks personalizados mediante configuración YAML y una función que convierte documentos en mensajes.

Además del ejecutor de línea de comandos, el proyecto incluye una interfaz web para configurar y supervisar ejecuciones, así como un servidor HTTP de evaluación que acepta tareas de evaluación asíncronas, lo que resulta útil para evaluar checkpoints durante el entrenamiento. Es un fork de lm-evaluation-harness adaptado a entradas multimodales.

Funciones clave

  • 01Ejecuta más de 100 benchmarks de imagen, video y audio mediante un único pipeline.
  • 02Admite más de 30 familias de modelos y endpoints de API compatibles con OpenAI.
  • 03Se integra con vLLM y SGLang para realizar evaluaciones mediante servidores.
  • 04Ofrece una interfaz web para configurar ejecuciones y consultar resultados guardados.
  • 05Incluye un servidor HTTP de evaluación con una cola de tareas asíncronas.
  • 06Permite añadir tareas personalizadas mediante YAML y una función para generar mensajes.

Casos de uso

  • Comparar un modelo multimodal con benchmarks estándar de imagen o video.
  • Evaluar automáticamente checkpoints durante el entrenamiento de un modelo.
  • Comparar modelos alojados mediante API, como GPT-4o, con modelos de pesos abiertos.
  • Incorporar un dataset de evaluación interno a un pipeline compartido y reproducible.

Inicio rápido

  1. 1

    Clona el repositorio

    git clone https://github.com/EvolvingLMMs-Lab/lmms-eval.git
  2. 2

    Instala el paquete en modo editable con uv

    cd lmms-eval && uv pip install -e ".[all]"
  3. 3

    Ejecuta una evaluación rápida (Qwen2.5-VL en MME, 8 muestras)

    python -m lmms_eval --model qwen2_5_vl --model_args pretrained=Qwen/Qwen2.5-VL-3B-Instruct --tasks mme --batch_size 1 --limit 8

Antes de usarlo

  • Los metadatos no indican una licencia clara (NOASSERTION), así que consulta las condiciones de la licencia antes de reutilizarlo.
  • Algunas tareas requieren claves de API, como las de OpenAI o Reka, y algunas tareas de subtitulado requieren tener instalado Java 8.
  • Por lo general, ejecutar evaluaciones con modelos locales requiere una GPU y un amplio conjunto de dependencias.

En colecciones

Frameworks de pruebas y herramientas de automatización

Temas

#multimodal#vision-language-model#benchmark#evaluation#video-understanding#audio-evaluation#llm-evaluation#agi#large-language-models#multimodal-evaluation

Preguntas frecuentes

¿Qué es lmms-eval?
Toolkit unificado para evaluar modelos multimodales en tareas de imagen, video y audio, con más de 100 benchmarks y más de 30 backends de modelos. lmms-eval es un toolkit de evaluación para modelos multimodales grandes. Ejecuta un modelo con un conjunto común de benchmarks que cubre la comprensión de imágenes, video y audio, para que los equipos puedan comparar resultados en las mismas tareas y con el mismo pipeline, en lugar de combinar datasets dispersos y scripts de postprocesamiento.
¿lmms-eval es gratuito? ¿Qué licencia tiene?
lmms-eval es open source bajo la licencia Other. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿lmms-eval sigue mantenido?
Mantenimiento activo. El último commit de lmms-eval fue el 7 nov 2026.
¿Para qué puedo usar lmms-eval?
Comparar un modelo multimodal con benchmarks estándar de imagen o video. Evaluar automáticamente checkpoints durante el entrenamiento de un modelo. Comparar modelos alojados mediante API, como GPT-4o, con modelos de pesos abiertos. Incorporar un dataset de evaluación interno a un pipeline compartido y reproducible.
¿Cómo se instala lmms-eval?
Clona el repositorio: git clone https://github.com/EvolvingLMMs-Lab/lmms-eval.git Instala el paquete en modo editable con uv: cd lmms-eval && uv pip install -e ".[all]" Ejecuta una evaluación rápida (Qwen2.5-VL en MME, 8 muestras): python -m lmms_eval --model qwen2_5_vl --model_args pretrained=Qwen/Qwen2.5-VL-3B-Instruct --tasks mme --batch_size 1 --limit 8
¿Dónde consigo lmms-eval?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/EvolvingLMMs-Lab/lmms-eval

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados