Repolode
Enviar
langchain-ai

langchain-ai/openevals

Biblioteca para Python e TypeScript com avaliadores prontos e personalizáveis para testar resultados de aplicações com LLM, incluindo avaliação por LLM como juiz.

Ver no GitHub
Estrelas
1,227
Forks
133
Issues abertas
25
Último commit
há 4 horas

O que é?

OpenEvals é uma biblioteca de avaliadores prontos para aplicações com LLM, semelhante, em espírito, a testes unitários para software tradicional. A ideia é servir como ponto de partida: as equipes podem usar os avaliadores incluídos diretamente e, depois, criar opções mais específicas para suas próprias aplicações.

O núcleo é a função create_llm_as_judge, que recebe um prompt e um modelo avaliador e retorna um avaliador que formata entradas e saídas no prompt e interpreta a pontuação do avaliador. O pacote inclui prompts prontos para avaliar qualidade, segurança, proteção, RAG, código, extração estruturada, trajetórias de agentes e conteúdo de voz ou imagem. Os modelos avaliadores podem ser especificados como strings provider:model via LangChain ou passados como um modelo de chat ou uma instância de cliente OpenAI.

O OpenEvals também oferece avaliadores que não usam LLM, como correspondência exata, distância de Levenshtein e similaridade de embeddings, além de integração com os executores pytest e Vitest/Jest do LangSmith. Python e TypeScript são compatíveis. Os avaliadores específicos para agentes ficam em um projeto separado, agentevals.

Recursos principais

  • 01Cria avaliadores de LLM como juiz a partir de um prompt e de um modelo avaliador.
  • 02Inclui prompts prontos para verificar qualidade, segurança, proteção, RAG e código.
  • 03Oferece suporte a valores de pontuação personalizados, esquemas de saída e anexos multimodais.
  • 04Disponibiliza avaliadores que não usam LLM, como correspondência exata, distância de Levenshtein e similaridade de embeddings.
  • 05Funciona com os executores pytest e Vitest/Jest do LangSmith em Python e TypeScript.

Casos de uso

  • Verificar se as respostas de um chatbot com LLM são concisas, corretas ou livres de alucinações antes do lançamento.
  • Avaliar pipelines de RAG quanto à fundamentação e à relevância da recuperação.
  • Filtrar resultados de modelos em busca de conteúdo tóxico, vazamento de PII ou prompt injection.
  • Adicionar verificações de resultados de LLM a uma suíte de testes de CI.

Início rápido

  1. 1

    Instale o openevals com pip

    pip install openevals
  2. 2

    Defina sua chave de API da OpenAI como uma variável de ambiente

    export OPENAI_API_KEY="your_openai_api_key"
  3. 3

    Execute o exemplo do avaliador de concisão do README

Antes de usar

  • O início rápido e os avaliadores LLM-as-judge padrão exigem uma chave de API da OpenAI, que é um serviço pago.

Tópicos

#llm-evaluation#evals#llm#testing#llm-as-judge#rag#langchain

Perguntas frequentes

O que é openevals?
Biblioteca para Python e TypeScript com avaliadores prontos e personalizáveis para testar resultados de aplicações com LLM, incluindo avaliação por LLM como juiz. OpenEvals é uma biblioteca de avaliadores prontos para aplicações com LLM, semelhante, em espírito, a testes unitários para software tradicional. A ideia é servir como ponto de partida: as equipes podem usar os avaliadores incluídos diretamente e, depois, criar opções mais específicas para suas próprias aplicações.
openevals é gratuito? Qual é a licença?
openevals é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
openevals ainda é mantido?
Manutenção ativa. O último commit de openevals foi em 21 de out. de 2026.
Para que posso usar openevals?
Verificar se as respostas de um chatbot com LLM são concisas, corretas ou livres de alucinações antes do lançamento. Avaliar pipelines de RAG quanto à fundamentação e à relevância da recuperação. Filtrar resultados de modelos em busca de conteúdo tóxico, vazamento de PII ou prompt injection. Adicionar verificações de resultados de LLM a uma suíte de testes de CI.
Como instalar openevals?
Instale o openevals com pip: pip install openevals Defina sua chave de API da OpenAI como uma variável de ambiente: export OPENAI_API_KEY="your_openai_api_key" Execute o exemplo do avaliador de concisão do README
Onde consigo openevals?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/langchain-ai/openevals

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados