openlayer-ai/jevals

Что это?

Ключевые возможности

• 01Запускает все eval-проверки одного трейса одним запросом к модели принятия решений.
• 02Включает 37 eval-проверок для поведения агента, безопасности и качества, в том числе метрики в стиле Ragas.
• 03Позволяет описывать eval-проверки в классах Python или YAML-файлах на основе общей схемы.
• 04Гейты могут разрешать, передавать на эскалацию или блокировать вызовы инструментов, а также скрывать PII/PHI до передачи данных модели.
• 05Поддерживает несколько бэкендов: Jev через TypeSafe или Vercel, OpenRouter, Kev, Laya, Eikos и чат-модели LLM.
• 06Включает CLI для повторного воспроизведения трейсов и калибровки порогов по размеченным данным.

Сценарии использования

• Оценка трейсов продакшен-агентов при каждом запросе на предмет неправильного использования инструментов, ответов без опоры на источники и нарушения рамок задачи.
• Блокировка косвенных инъекций в промпт из результатов работы инструментов или найденных документов до того, как агент на них отреагирует.
• Установка гейтов для необратимых вызовов инструментов, например возврата средств или удаления данных из базы, с передачей человеку на проверку.
• Запуск офлайн-регрессионных eval-проверок для RAG- или агентного пайплайна без дорогостоящей LLM-судьи.

Быстрый старт

1. 1

   Установите пакет из PyPI

   pip install jevals
2. 2

   Настройте API-ключ для бэкенда Jev через Vercel AI Gateway

   export AI_GATEWAY_API_KEY=...

Что важно знать

• !Для запуска откалиброванных eval необходимы API-ключ Jev, аккаунт TypeSafe или самостоятельно размещённая модель принятия решений, например Kev или Eikos.
• !Возможность локального запуска зависит от оборудования: для Kev и Laya нужен Mac, а для Eikos — GPU.
• !Без модели принятия решений эмулируемый бэкенд chat-LLM возвращает вероятности только 0.00 или 1.00.

В подборках

Темы

Частые вопросы

Что такое jevals?

Библиотека Python для запуска eval-проверок и защитных механизмов на размещённых или локальных моделях принятия решений в стиле Jev; все проверки трейса отправляются одним запросом. jevals запускает eval-проверки и защитные механизмы для LLM-агентов, используя модели принятия решений вместо передовых LLM в роли судьи. Каждая проверка — это типизированный вопрос с ответом «да/нет», выбором варианта или оценкой по рубрике. Все проверки трейса объединяются в один запрос, который возвращает откалиброванные вероятности. Библиотека охватывает поведение агента (выбор инструментов, опора на источники, соблюдение рамок задачи, циклы), безопасность (прямые и косвенные инъекции в промпт, PII/PHI, секреты) и метрики качества в стиле Ragas.

jevals можно использовать бесплатно? Какая у него лицензия?

jevals распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.

jevals всё ещё поддерживается?

Активно поддерживается. Последний коммит в jevals — 2 нояб. 2026 г..

Для чего можно использовать jevals?

Оценка трейсов продакшен-агентов при каждом запросе на предмет неправильного использования инструментов, ответов без опоры на источники и нарушения рамок задачи. Блокировка косвенных инъекций в промпт из результатов работы инструментов или найденных документов до того, как агент на них отреагирует. Установка гейтов для необратимых вызовов инструментов, например возврата средств или удаления данных из базы, с передачей человеку на проверку. Запуск офлайн-регрессионных eval-проверок для RAG- или агентного пайплайна без дорогостоящей LLM-судьи.

Как установить jevals?

Установите пакет из PyPI: pip install jevals Настройте API-ключ для бэкенда Jev через Vercel AI Gateway: export AI_GATEWAY_API_KEY=...

Где скачать jevals?

Исходный код и инструкции по установке — на GitHub: https://github.com/openlayer-ai/jevals