openlayer-ai/jevals

¿Qué es?

Funciones clave

• 01Ejecuta todas las evaluaciones de un trace en una sola solicitud a un modelo de decisión.
• 02Incluye 37 evaluaciones sobre comportamiento de agentes, seguridad y calidad, incluidas métricas al estilo de Ragas.
• 03Define evaluaciones mediante clases de Python o archivos YAML con un esquema compartido.
• 04Los controles pueden permitir, escalar o bloquear llamadas a herramientas, y ocultar PII/PHI antes de que lleguen al modelo.
• 05Admite varios backends: Jev mediante TypeSafe o Vercel, OpenRouter, Kev, Laya, Eikos o LLM de chat.
• 06Incluye una CLI para reproducir traces y calibrar umbrales con datos etiquetados.

Casos de uso

• Puntuar traces de agentes en producción en cada solicitud para detectar uso indebido de herramientas, respuestas sin fundamentar e incumplimientos del alcance.
• Bloquear inyecciones indirectas de prompts en resultados de herramientas o documentos recuperados antes de que el agente actúe sobre ellos.
• Controlar llamadas irreversibles a herramientas, como reembolsos o eliminaciones en bases de datos, con posibilidad de escalar a una persona.
• Ejecutar evaluaciones de regresión sin conexión para un pipeline de RAG o de agentes sin recurrir a un costoso LLM como juez.

Inicio rápido

1. 1

   Instala el paquete desde PyPI

   pip install jevals
2. 2

   Configura una clave de API para el backend de Jev a través de Vercel AI Gateway

   export AI_GATEWAY_API_KEY=...

Antes de usarlo

• !Para ejecutar las evaluaciones calibradas, necesitas una clave de API de Jev, una cuenta de TypeSafe o un modelo de decisión autoalojado, como Kev o Eikos.
• !Las opciones locales dependen del hardware: Kev y Laya necesitan un Mac, y Eikos necesita una GPU.
• !Sin un modelo de decisión, el backend emulado de chat-LLM solo devuelve probabilidades de 0.00 o 1.00.

En colecciones

Temas

Preguntas frecuentes

¿Qué es jevals?

Biblioteca de Python para ejecutar evaluaciones y guardrails en agentes con modelos de decisión Jev alojados o locales, enviando todas las comprobaciones de un trace en una sola solicitud. jevals ejecuta evaluaciones y guardrails para agentes LLM con modelos de decisión, en lugar de usar un LLM de última generación como juez. Cada evaluación es una pregunta tipada de sí/no, de selección o basada en una rúbrica, y todas las evaluaciones de un trace se agrupan en una sola solicitud que devuelve probabilidades calibradas. La biblioteca cubre el comportamiento del agente (elección de herramientas, fundamentación, alcance, bucles), la seguridad (inyección directa e indirecta, PII/PHI, secretos) y métricas de calidad al estilo de Ragas.

¿jevals es gratuito? ¿Qué licencia tiene?

jevals es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.

¿jevals sigue mantenido?

Mantenimiento activo. El último commit de jevals fue el 2 nov 2026.

¿Para qué puedo usar jevals?

Puntuar traces de agentes en producción en cada solicitud para detectar uso indebido de herramientas, respuestas sin fundamentar e incumplimientos del alcance. Bloquear inyecciones indirectas de prompts en resultados de herramientas o documentos recuperados antes de que el agente actúe sobre ellos. Controlar llamadas irreversibles a herramientas, como reembolsos o eliminaciones en bases de datos, con posibilidad de escalar a una persona. Ejecutar evaluaciones de regresión sin conexión para un pipeline de RAG o de agentes sin recurrir a un costoso LLM como juez.

¿Cómo se instala jevals?

Instala el paquete desde PyPI: pip install jevals Configura una clave de API para el backend de Jev a través de Vercel AI Gateway: export AI_GATEWAY_API_KEY=...

¿Dónde consigo jevals?

El código fuente y las instrucciones de instalación están en GitHub: https://github.com/openlayer-ai/jevals