Repolode
Enviar
modelscope

modelscope/evalscope

Framework personalizable para evaluar LLM, VLM y modelos AIGC con benchmarks, además de pruebas de estrés del rendimiento de inferencia y paneles de resultados.

Ver en GitHubSitio web
Estrellas
3,571
Forks
531
Issues abiertos
10
Último commit
hace 5 horas

¿Qué es?

EvalScope es un framework para evaluar modelos de lenguaje de gran tamaño y otros modelos generativos. Puede ejecutar benchmarks integrados, como MMLU, C-Eval y GSM8K, contra un endpoint compatible con la API de OpenAI o un modelo local descargado de ModelScope, y muestra los resultados en la terminal. Además de la precisión, incluye una herramienta de pruebas de estrés que mide el throughput, el tiempo hasta el primer token (TTFT) y el tiempo por token de salida (TPOT) de los servicios de modelos.

El proyecto también abarca modelos multimodales, modelos de embeddings y reranking, y benchmarks de agentes que se ejecutan en un ciclo de varios turnos con sandboxes de Docker opcionales. Los resultados se pueden consultar en un panel web para comparar modelos en paralelo, y el modo Arena los clasifica mediante enfrentamientos por pares. Es posible ejecutar backends de terceros, como OpenCompass, VLMEvalKit y RAGEval, desde el mismo punto de entrada.

La evaluación se configura mediante la línea de comandos, una API de Python o archivos YAML/JSON. Además, los desarrolladores pueden agregar datasets, modelos y métricas personalizados.

Funciones clave

  • 01Ejecuta benchmarks integrados, como MMLU, C-Eval y GSM8K, con un solo comando.
  • 02Evalúa endpoints compatibles con la API de OpenAI y modelos locales descargados de ModelScope.
  • 03Realiza pruebas de estrés de servicios de modelos y muestra TTFT, TPOT y throughput.
  • 04Ofrece un panel web para comparar modelos y examinar predicciones.
  • 05Admite enfrentamientos por pares al estilo Arena, con tasas de victoria y clasificaciones.
  • 06Permite a los desarrolladores agregar datasets, modelos y métricas personalizados.

Casos de uso

  • Comparar varios LLM candidatos con el mismo benchmark antes de elegir uno.
  • Medir la latencia y el throughput de un despliegue de serving de modelos bajo carga.
  • Comprobar si el despliegue de una API de terceros se comporta como el modelo oficial.
  • Evaluar un modelo ajustado con fine-tuning en un dataset privado definido en un formato personalizado.

Inicio rápido

  1. 1

    Instala el paquete EvalScope desde PyPI

    pip install evalscope
  2. 2

    Ejecuta una evaluación con una API de modelo compatible con OpenAI (configura antes el endpoint y la clave)

    evalscope eval --model your-model-name --api-url $OPENAI_API_BASE_URL --api-key $OPENAI_API_KEY --eval-type openai_api --datasets gsm8k --limit 5

Antes de usarlo

  • El ejemplo de inicio rápido requiere un endpoint de API de modelo compatible con OpenAI y una clave de API.
  • La evaluación de agentes con benchmarks aislados, como SWE-bench, requiere Docker.
  • El proyecto requiere Python 3.10 o posterior.

Temas

#llm-evaluation#benchmark#performance-testing#vlm#rag#python#model-evaluation#evaluation#llm#performance

Preguntas frecuentes

¿Qué es evalscope?
Framework personalizable para evaluar LLM, VLM y modelos AIGC con benchmarks, además de pruebas de estrés del rendimiento de inferencia y paneles de resultados. EvalScope es un framework para evaluar modelos de lenguaje de gran tamaño y otros modelos generativos. Puede ejecutar benchmarks integrados, como MMLU, C-Eval y GSM8K, contra un endpoint compatible con la API de OpenAI o un modelo local descargado de ModelScope, y muestra los resultados en la terminal. Además de la precisión, incluye una herramienta de pruebas de estrés que mide el throughput, el tiempo hasta el primer token (TTFT) y el tiempo por token de salida (TPOT) de los servicios de modelos.
¿evalscope es gratuito? ¿Qué licencia tiene?
evalscope es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿evalscope sigue mantenido?
Mantenimiento activo. El último commit de evalscope fue el 21 oct 2026.
¿Para qué puedo usar evalscope?
Comparar varios LLM candidatos con el mismo benchmark antes de elegir uno. Medir la latencia y el throughput de un despliegue de serving de modelos bajo carga. Comprobar si el despliegue de una API de terceros se comporta como el modelo oficial. Evaluar un modelo ajustado con fine-tuning en un dataset privado definido en un formato personalizado.
¿Cómo se instala evalscope?
Instala el paquete EvalScope desde PyPI: pip install evalscope Ejecuta una evaluación con una API de modelo compatible con OpenAI (configura antes el endpoint y la clave): evalscope eval --model your-model-name --api-url $OPENAI_API_BASE_URL --api-key $OPENAI_API_KEY --eval-type openai_api --datasets gsm8k --limit 5
¿Dónde consigo evalscope?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/modelscope/evalscope

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados