Repolode
Enviar
open-compass

open-compass/opencompass

Uma plataforma open source completa para avaliar LLMs em mais de 100 datasets, com suporte a diversos provedores de modelos e backends de inferência.

Ver no GitHubSite
Estrelas
7,531
Forks
888
Issues abertas
376
Último commit
há 3 horas

O que é?

OpenCompass é uma plataforma para avaliar LLMs. Ela oferece suporte a modelos de provedores como OpenAI, Anthropic, Gemini, Qwen, GLM e DeepSeek, além de modelos open source executados localmente, e abrange mais de 100 datasets de conhecimento, raciocínio, programação, ciência, idiomas, contexto longo e segurança.

O projeto oferece um fluxo de ponta a ponta: configuração de datasets e modelos, inferência, avaliação e resumo de resultados. A inferência pode ser executada pelos backends HuggingFace, LMDeploy ou vLLM, e a avaliação oferece suporte a métodos zero-shot, few-shot, chain-of-thought, baseados em regras e LLM-as-judge. O particionamento de tarefas e a execução concorrente e distribuída permitem escalar para diferentes cargas de trabalho.

OpenCompass também integra o VLMEvalKit, permitindo executar datasets apenas de texto e de visão e linguagem em um único fluxo de trabalho. É possível adicionar modelos, datasets, avaliadores e backends de inferência pelos pontos de extensão do projeto.

Recursos principais

  • 01Oferece suporte a modelos via API, como OpenAI, Anthropic Claude e Google Gemini, e a modelos open source executados localmente.
  • 02Abrange mais de 100 datasets de conhecimento, raciocínio, programação, ciência, contexto longo e segurança.
  • 03Executa inferências pelos backends HuggingFace, LMDeploy ou vLLM.
  • 04Oferece avaliadores baseados em regras, LLM-as-judge e verificação matemática.
  • 05Oferece suporte ao particionamento de tarefas e à execução concorrente e distribuída.
  • 06Integra o VLMEvalKit para avaliar datasets de visão e linguagem.

Casos de uso

  • Comparar vários LLMs open source ou acessados por API usando o mesmo conjunto de benchmarks.
  • Executar avaliações reproduzíveis de um modelo durante o desenvolvimento ou fine-tuning.
  • Avaliar modelos multimodais em benchmarks de texto e de visão e linguagem em um único fluxo de trabalho.

Início rápido

  1. 1

    Crie um ambiente conda com Python 3.12

    conda create --name opencompass python=3.12 -y
  2. 2

    Ative o ambiente

    conda activate opencompass
  3. 3

    Instale o OpenCompass com pip

    pip install -U opencompass
  4. 4

    Leia o guia de início rápido na documentação para executar sua primeira avaliação

Antes de usar

  • Alguns conjuntos de dados (geração de código do APPS, TACO e LiveCodeBench) exigem Python 3.10 por causa da dependência pyext.
  • Backends de inferência como LMDeploy e vLLM devem ser instalados separadamente devido a conflitos entre dependências.

Tópicos

#llm-evaluation#benchmark#large-language-model#inference#evaluation-framework#evaluation#llm#llm-eval

Perguntas frequentes

O que é opencompass?
Uma plataforma open source completa para avaliar LLMs em mais de 100 datasets, com suporte a diversos provedores de modelos e backends de inferência. OpenCompass é uma plataforma para avaliar LLMs. Ela oferece suporte a modelos de provedores como OpenAI, Anthropic, Gemini, Qwen, GLM e DeepSeek, além de modelos open source executados localmente, e abrange mais de 100 datasets de conhecimento, raciocínio, programação, ciência, idiomas, contexto longo e segurança.
opencompass é gratuito? Qual é a licença?
opencompass é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
opencompass ainda é mantido?
Manutenção ativa. O último commit de opencompass foi em 21 de out. de 2026.
Para que posso usar opencompass?
Comparar vários LLMs open source ou acessados por API usando o mesmo conjunto de benchmarks. Executar avaliações reproduzíveis de um modelo durante o desenvolvimento ou fine-tuning. Avaliar modelos multimodais em benchmarks de texto e de visão e linguagem em um único fluxo de trabalho.
Como instalar opencompass?
Crie um ambiente conda com Python 3.12: conda create --name opencompass python=3.12 -y Ative o ambiente: conda activate opencompass Instale o OpenCompass com pip: pip install -U opencompass Leia o guia de início rápido na documentação para executar sua primeira avaliação
Onde consigo opencompass?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/open-compass/opencompass

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados