Repolode
Enviar
modelscope

modelscope/evalscope

Framework personalizável para avaliar LLMs, VLMs e modelos de AIGC em benchmarks, testar o desempenho de inferência sob carga e visualizar resultados em dashboards.

Ver no GitHubSite
Estrelas
3,571
Forks
531
Issues abertas
10
Último commit
há 5 horas

O que é?

EvalScope é um framework para avaliar grandes modelos de linguagem e outros modelos generativos. Ele executa benchmarks integrados, como MMLU, C-Eval e GSM8K, em um endpoint compatível com a API da OpenAI ou em um modelo local baixado do ModelScope, e exibe as pontuações no terminal. Além da precisão, inclui uma ferramenta de teste de carga que mede throughput, tempo até o primeiro token (TTFT) e tempo por token de saída (TPOT) em serviços de modelos.

O projeto também abrange modelos multimodais, modelos de embeddings e rerankers, além de benchmarks de agentes executados em um loop de múltiplas rodadas com sandboxes Docker opcionais. Os resultados podem ser explorados em um dashboard web para comparar modelos lado a lado, e o modo Arena classifica os modelos por meio de disputas em pares. Backends de terceiros, como OpenCompass, VLMEvalKit e RAGEval, podem ser iniciados pelo mesmo ponto de entrada.

A avaliação pode ser configurada pela linha de comando, por uma API Python ou por arquivos YAML/JSON, e os desenvolvedores podem adicionar datasets, modelos e métricas personalizados.

Recursos principais

  • 01Executa benchmarks integrados, como MMLU, C-Eval e GSM8K, com um único comando.
  • 02Avalia endpoints compatíveis com a API da OpenAI e modelos locais baixados do ModelScope.
  • 03Testa serviços de modelos sob carga e informa TTFT, TPOT e throughput.
  • 04Oferece um dashboard web para comparar modelos e inspecionar previsões.
  • 05Oferece suporte a disputas em pares no estilo Arena, com taxas de vitória e classificações.
  • 06Permite que desenvolvedores adicionem datasets, modelos e métricas personalizados.

Casos de uso

  • Comparar vários LLMs candidatos no mesmo benchmark antes de escolher um.
  • Medir a latência e o throughput de uma implantação de serving de modelos sob carga.
  • Verificar se uma implantação de API de terceiros se comporta como o modelo oficial.
  • Avaliar um modelo fine-tuned em um dataset privado definido em um formato personalizado.

Início rápido

  1. 1

    Instale o pacote EvalScope pelo PyPI

    pip install evalscope
  2. 2

    Execute uma avaliação usando uma API de modelo compatível com OpenAI (configure o endpoint e a chave antes)

    evalscope eval --model your-model-name --api-url $OPENAI_API_BASE_URL --api-key $OPENAI_API_KEY --eval-type openai_api --datasets gsm8k --limit 5

Antes de usar

  • O exemplo de início rápido requer um endpoint de API de modelo compatível com OpenAI e uma chave de API.
  • A avaliação de agentes com benchmarks isolados, como o SWE-bench, requer Docker.
  • O projeto requer Python 3.10 ou mais recente.

Tópicos

#llm-evaluation#benchmark#performance-testing#vlm#rag#python#model-evaluation#evaluation#llm#performance

Perguntas frequentes

O que é evalscope?
Framework personalizável para avaliar LLMs, VLMs e modelos de AIGC em benchmarks, testar o desempenho de inferência sob carga e visualizar resultados em dashboards. EvalScope é um framework para avaliar grandes modelos de linguagem e outros modelos generativos. Ele executa benchmarks integrados, como MMLU, C-Eval e GSM8K, em um endpoint compatível com a API da OpenAI ou em um modelo local baixado do ModelScope, e exibe as pontuações no terminal. Além da precisão, inclui uma ferramenta de teste de carga que mede throughput, tempo até o primeiro token (TTFT) e tempo por token de saída (TPOT) em serviços de modelos.
evalscope é gratuito? Qual é a licença?
evalscope é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
evalscope ainda é mantido?
Manutenção ativa. O último commit de evalscope foi em 21 de out. de 2026.
Para que posso usar evalscope?
Comparar vários LLMs candidatos no mesmo benchmark antes de escolher um. Medir a latência e o throughput de uma implantação de serving de modelos sob carga. Verificar se uma implantação de API de terceiros se comporta como o modelo oficial. Avaliar um modelo fine-tuned em um dataset privado definido em um formato personalizado.
Como instalar evalscope?
Instale o pacote EvalScope pelo PyPI: pip install evalscope Execute uma avaliação usando uma API de modelo compatível com OpenAI (configure o endpoint e a chave antes): evalscope eval --model your-model-name --api-url $OPENAI_API_BASE_URL --api-key $OPENAI_API_KEY --eval-type openai_api --datasets gsm8k --limit 5
Onde consigo evalscope?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/modelscope/evalscope

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados