Repolode
Enviar
braintrustdata

braintrustdata/autoevals

Biblioteca em Python e TypeScript para avaliar saídas de modelos de IA com avaliadores baseados em LLM como juiz, heurísticas e métodos estatísticos.

Ver no GitHub
Estrelas
1,073
Forks
101
Issues abertas
59
Último commit
há 7 dias

O que é?

Autoevals é uma biblioteca para avaliar automaticamente as saídas de modelos de IA. Ela oferece uma interface uniforme: você informa uma entrada, uma saída e um valor esperado e recebe uma pontuação entre 0 e 1 de um dos vários avaliadores integrados.

A biblioteca reúne três famílias de métodos: avaliação por modelo, em que um LLM atua como juiz (para tarefas como factualidade, segurança, sumarização, SQL e tradução); verificações heurísticas, como distância de Levenshtein, correspondência exata e comparação de JSON; e medidas estatísticas, como BLEU. Também inclui avaliadores específicos para RAG, que medem fidelidade, recuperação de contexto e relevância da resposta, além de similaridade entre embeddings.

É possível criar avaliações personalizadas usando templates de prompt com pontuações configuráveis para cada opção ou funções simples que retornam um objeto Score. Por padrão, a autenticação é feita com OPENAI_API_KEY, e a biblioteca pode ser configurada para usar qualquer endpoint compatível com OpenAI, incluindo o Braintrust AI Gateway. Opcionalmente, os resultados podem ser registrados no Braintrust.

Recursos principais

  • 01Avaliadores baseados em modelo, como Factuality, Closed QA, Moderation e SQL
  • 02Avaliadores heurísticos, incluindo distância de Levenshtein, correspondência exata e comparação de JSON
  • 03Avaliadores para RAG que medem fidelidade, recuperação de contexto e relevância da resposta
  • 04Templates de prompt e funções de avaliação personalizadas em Python ou TypeScript
  • 05Compatível com qualquer API compatível com OpenAI, com chamadas síncronas e assíncronas

Casos de uso

  • Verificar se a resposta de um LLM é factualmente consistente com uma resposta de referência
  • Avaliar a qualidade da recuperação e das respostas em pipelines de RAG durante o desenvolvimento
  • Comparar versões de prompts ou modelos com métricas consistentes em uma suíte de testes
  • Adicionar verificações personalizadas, avaliadas por LLM ou baseadas em regras, a um fluxo de avaliação existente

Início rápido

  1. 1

    Instale o pacote Python com pip

    pip install autoevals
  2. 2

    Defina a variável de ambiente OPENAI_API_KEY (autenticação padrão)

  3. 3

    Execute uma avaliação de factualidade usando Python

Antes de usar

  • Avaliadores baseados em LLM precisam de uma chave de API e, por padrão, fazem chamadas pagas a modelos, embora o Braintrust Gateway seja gratuito durante o período beta.

Em coleções

Frameworks de teste e ferramentas de automação de testes

Tópicos

#llm-evaluation#evals#llm-as-a-judge#rag#testing#openai#python#typescript

Perguntas frequentes

O que é autoevals?
Biblioteca em Python e TypeScript para avaliar saídas de modelos de IA com avaliadores baseados em LLM como juiz, heurísticas e métodos estatísticos. Autoevals é uma biblioteca para avaliar automaticamente as saídas de modelos de IA. Ela oferece uma interface uniforme: você informa uma entrada, uma saída e um valor esperado e recebe uma pontuação entre 0 e 1 de um dos vários avaliadores integrados.
autoevals é gratuito? Qual é a licença?
autoevals é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
autoevals ainda é mantido?
Manutenção ativa. O último commit de autoevals foi em 30 de out. de 2026.
Para que posso usar autoevals?
Verificar se a resposta de um LLM é factualmente consistente com uma resposta de referência Avaliar a qualidade da recuperação e das respostas em pipelines de RAG durante o desenvolvimento Comparar versões de prompts ou modelos com métricas consistentes em uma suíte de testes Adicionar verificações personalizadas, avaliadas por LLM ou baseadas em regras, a um fluxo de avaliação existente
Como instalar autoevals?
Instale o pacote Python com pip: pip install autoevals Defina a variável de ambiente OPENAI_API_KEY (autenticação padrão) Execute uma avaliação de factualidade usando Python
Onde consigo autoevals?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/braintrustdata/autoevals

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados