openlayer-ai/jevals

O que é?

Recursos principais

• 01Executa todas as avaliações de um trace em uma única requisição a um modelo de decisão.
• 02Inclui 37 avaliações de comportamento de agente, segurança e qualidade, incluindo métricas no estilo Ragas.
• 03Define avaliações em classes Python ou arquivos YAML com um schema compartilhado.
• 04As barreiras podem permitir, encaminhar para análise ou bloquear chamadas de ferramentas e remover PII/PHI antes que cheguem ao modelo.
• 05Oferece suporte a vários backends: Jev via TypeSafe ou Vercel, OpenRouter, Kev, Laya, Eikos ou LLMs de chat.
• 06Inclui uma CLI para reproduzir traces e calibrar limites com dados rotulados.

Casos de uso

• Pontuar traces de agentes em produção a cada requisição para identificar uso indevido de ferramentas, respostas sem fundamentação e violações de escopo.
• Bloquear injeções indiretas de prompt em resultados de ferramentas ou documentos recuperados antes que o agente aja com base neles.
• Criar barreiras para chamadas irreversíveis de ferramentas, como reembolsos ou exclusões em bancos de dados, com encaminhamento para análise humana.
• Executar avaliações de regressão offline para um pipeline de RAG ou de agentes sem depender de um avaliador LLM caro.

Início rápido

1. 1

   Instale o pacote pelo PyPI

   pip install jevals
2. 2

   Configure uma chave de API para o backend do Jev pelo Vercel AI Gateway

   export AI_GATEWAY_API_KEY=...

Antes de usar

• !Para executar as avaliações calibradas, é necessária uma chave de API do Jev, uma conta TypeSafe ou um modelo de decisão auto-hospedado, como Kev ou Eikos.
• !As opções locais dependem do hardware: Kev e Laya precisam de um Mac, e Eikos precisa de uma GPU.
• !Sem um modelo de decisão, o backend de chat-LLM emulado retorna apenas probabilidades de 0.00 ou 1.00.

Em coleções

Tópicos

Perguntas frequentes

O que é jevals?

Biblioteca Python para executar avaliações e guardrails em agentes usando modelos de decisão no estilo Jev, hospedados ou locais, com todas as verificações de um trace enviadas em uma única requisição. jevals executa avaliações e guardrails para agentes LLM usando modelos de decisão, em vez de um LLM de ponta como avaliador. Cada avaliação é uma pergunta tipada de sim/não, escolha ou rubrica, e todas as avaliações de um trace são agrupadas em uma única requisição que retorna probabilidades calibradas. A biblioteca cobre o comportamento do agente (escolha de ferramentas, fundamentação, escopo, loops), segurança (injeção direta e indireta de prompt, PII/PHI, segredos) e métricas de qualidade no estilo Ragas.

jevals é gratuito? Qual é a licença?

jevals é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.

jevals ainda é mantido?

Manutenção ativa. O último commit de jevals foi em 2 de nov. de 2026.

Para que posso usar jevals?

Pontuar traces de agentes em produção a cada requisição para identificar uso indevido de ferramentas, respostas sem fundamentação e violações de escopo. Bloquear injeções indiretas de prompt em resultados de ferramentas ou documentos recuperados antes que o agente aja com base neles. Criar barreiras para chamadas irreversíveis de ferramentas, como reembolsos ou exclusões em bancos de dados, com encaminhamento para análise humana. Executar avaliações de regressão offline para um pipeline de RAG ou de agentes sem depender de um avaliador LLM caro.

Como instalar jevals?

Instale o pacote pelo PyPI: pip install jevals Configure uma chave de API para o backend do Jev pelo Vercel AI Gateway: export AI_GATEWAY_API_KEY=...

Onde consigo jevals?

O código-fonte e as instruções de instalação estão no GitHub: https://github.com/openlayer-ai/jevals