Repolode
Предложить
langchain-ai

langchain-ai/openevals

Библиотека на Python и TypeScript с готовыми и настраиваемыми оценщиками для тестирования результатов LLM-приложений, включая оценку по принципу LLM-as-judge.

Открыть на GitHub
Звёзды
1,227
Форки
133
Открытые issues
25
Последний коммит
2 часа назад

Что это?

OpenEvals — библиотека готовых оценщиков для LLM-приложений, по духу похожая на модульные тесты в обычном ПО. Это отправная точка: команды могут сразу использовать встроенные оценщики, а затем создавать более специфичные для своего приложения.

В основе лежит функция create_llm_as_judge: она принимает промпт и модель-судью и возвращает оценщик, который подставляет входные и выходные данные в промпт и разбирает оценку судьи. В пакет входят готовые промпты для проверки качества, безопасности, защищённости, RAG, кода, структурированного извлечения данных, траекторий агентов, а также голосового и визуального контента. Модель-судью можно указать в формате provider:model через LangChain или передать как chat model либо экземпляр OpenAI client.

В OpenEvals также есть оценщики без LLM: точное совпадение, расстояние Левенштейна и сходство эмбеддингов. Библиотека интегрируется с раннерами pytest и Vitest/Jest от LangSmith. Поддерживаются Python и TypeScript. Оценщики для агентов вынесены в отдельный проект agentevals.

Ключевые возможности

  • 01Создаёт оценщики по принципу LLM-as-judge на основе промпта и модели-судьи.
  • 02Содержит готовые промпты для проверки качества, безопасности, защищённости, RAG и кода.
  • 03Поддерживает настраиваемые значения оценок, схемы выходных данных и мультимодальные вложения.
  • 04Предоставляет оценщики без LLM, например для точного совпадения, расстояния Левенштейна и сходства эмбеддингов.
  • 05Работает с раннерами pytest и Vitest/Jest от LangSmith на Python и TypeScript.

Сценарии использования

  • Проверка перед выпуском, насколько ответы чат-бота на базе LLM краткие и точные и не содержат ли они галлюцинаций.
  • Оценка RAG-пайплайнов по обоснованности ответов и релевантности найденной информации.
  • Проверка выходных данных модели на токсичность, утечку PII или prompt injection.
  • Добавление проверок результатов LLM в набор CI-тестов.

Быстрый старт

  1. 1

    Установите openevals с помощью pip

    pip install openevals
  2. 2

    Задайте ключ API OpenAI как переменную среды

    export OPENAI_API_KEY="your_openai_api_key"
  3. 3

    Запустите пример оценщика краткости из README

Что важно знать

  • Для быстрого старта и стандартных оценщиков LLM-as-judge требуется ключ API OpenAI, а это платный сервис.

Темы

#llm-evaluation#evals#llm#testing#llm-as-judge#rag#langchain

Частые вопросы

Что такое openevals?
Библиотека на Python и TypeScript с готовыми и настраиваемыми оценщиками для тестирования результатов LLM-приложений, включая оценку по принципу LLM-as-judge. OpenEvals — библиотека готовых оценщиков для LLM-приложений, по духу похожая на модульные тесты в обычном ПО. Это отправная точка: команды могут сразу использовать встроенные оценщики, а затем создавать более специфичные для своего приложения.
openevals можно использовать бесплатно? Какая у него лицензия?
openevals распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
openevals всё ещё поддерживается?
Активно поддерживается. Последний коммит в openevals — 21 окт. 2026 г..
Для чего можно использовать openevals?
Проверка перед выпуском, насколько ответы чат-бота на базе LLM краткие и точные и не содержат ли они галлюцинаций. Оценка RAG-пайплайнов по обоснованности ответов и релевантности найденной информации. Проверка выходных данных модели на токсичность, утечку PII или prompt injection. Добавление проверок результатов LLM в набор CI-тестов.
Как установить openevals?
Установите openevals с помощью pip: pip install openevals Задайте ключ API OpenAI как переменную среды: export OPENAI_API_KEY="your_openai_api_key" Запустите пример оценщика краткости из README
Где скачать openevals?
Исходный код и инструкции по установке — на GitHub: https://github.com/langchain-ai/openevals

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты