Repolode
Enviar
open-compass

open-compass/opencompass

Plataforma open source integral para evaluar modelos de lenguaje grandes en más de 100 datasets y con numerosos proveedores de modelos y backends de inferencia.

Ver en GitHubSitio web
Estrellas
7,531
Forks
888
Issues abiertos
376
Último commit
hace 3 horas

¿Qué es?

OpenCompass es una plataforma para comparar modelos de lenguaje grandes. Admite modelos de proveedores como OpenAI, Anthropic, Gemini, Qwen, GLM y DeepSeek, además de modelos open source locales, y abarca más de 100 datasets de conocimiento, razonamiento, programación, ciencia, idiomas, contexto largo y seguridad.

El proyecto ofrece un flujo de trabajo integral: configuración de datasets y modelos, inferencia, evaluación y resumen de resultados. La inferencia puede ejecutarse con los backends de HuggingFace, LMDeploy o vLLM, y la evaluación admite métodos zero-shot, few-shot, chain-of-thought, basados en reglas y LLM-as-judge. La partición de tareas y la ejecución concurrente y distribuida permiten adaptarlo a distintas cargas de trabajo.

OpenCompass también se integra con VLMEvalKit para ejecutar datasets solo de texto y de visión y lenguaje en un mismo flujo de trabajo. Se pueden incorporar modelos, datasets, evaluadores y backends de inferencia nuevos mediante sus puntos de extensión.

Funciones clave

  • 01Admite modelos de API, como OpenAI, Anthropic Claude y Google Gemini, así como modelos open source locales.
  • 02Abarca más de 100 datasets de conocimiento, razonamiento, programación, ciencia, contexto largo y seguridad.
  • 03Ejecuta inferencias con los backends de HuggingFace, LMDeploy o vLLM.
  • 04Ofrece evaluadores basados en reglas, LLM-as-judge y verificación matemática.
  • 05Admite la partición de tareas y la ejecución concurrente y distribuida.
  • 06Se integra con VLMEvalKit para evaluar datasets de visión y lenguaje.

Casos de uso

  • Comparar varios LLM open source o de API con un conjunto común de benchmarks.
  • Ejecutar evaluaciones reproducibles de un modelo durante su desarrollo o ajuste fino.
  • Evaluar modelos multimodales con benchmarks de texto y de visión y lenguaje en un mismo flujo de trabajo.

Inicio rápido

  1. 1

    Crea un entorno conda con Python 3.12

    conda create --name opencompass python=3.12 -y
  2. 2

    Activa el entorno

    conda activate opencompass
  3. 3

    Instala OpenCompass con pip

    pip install -U opencompass
  4. 4

    Lee la guía de inicio rápido de la documentación para ejecutar tu primera evaluación

Antes de usarlo

  • Algunos conjuntos de datos (generación de código de APPS, TACO y LiveCodeBench) requieren Python 3.10 debido a la dependencia pyext.
  • Los backends de inferencia, como LMDeploy y vLLM, deben instalarse por separado debido a conflictos entre dependencias.

Temas

#llm-evaluation#benchmark#large-language-model#inference#evaluation-framework#evaluation#llm#llm-eval

Preguntas frecuentes

¿Qué es opencompass?
Plataforma open source integral para evaluar modelos de lenguaje grandes en más de 100 datasets y con numerosos proveedores de modelos y backends de inferencia. OpenCompass es una plataforma para comparar modelos de lenguaje grandes. Admite modelos de proveedores como OpenAI, Anthropic, Gemini, Qwen, GLM y DeepSeek, además de modelos open source locales, y abarca más de 100 datasets de conocimiento, razonamiento, programación, ciencia, idiomas, contexto largo y seguridad.
¿opencompass es gratuito? ¿Qué licencia tiene?
opencompass es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿opencompass sigue mantenido?
Mantenimiento activo. El último commit de opencompass fue el 21 oct 2026.
¿Para qué puedo usar opencompass?
Comparar varios LLM open source o de API con un conjunto común de benchmarks. Ejecutar evaluaciones reproducibles de un modelo durante su desarrollo o ajuste fino. Evaluar modelos multimodales con benchmarks de texto y de visión y lenguaje en un mismo flujo de trabajo.
¿Cómo se instala opencompass?
Crea un entorno conda con Python 3.12: conda create --name opencompass python=3.12 -y Activa el entorno: conda activate opencompass Instala OpenCompass con pip: pip install -U opencompass Lee la guía de inicio rápido de la documentación para ejecutar tu primera evaluación
¿Dónde consigo opencompass?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/open-compass/opencompass

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados