Repolode
Предложить
braintrustdata

braintrustdata/autoevals

Библиотека на Python и TypeScript для оценки ответов AI-моделей с помощью LLM-as-a-judge, эвристических и статистических методов.

Открыть на GitHub
Звёзды
1,073
Форки
100
Открытые issues
59
Последний коммит
7 дней назад

Что это?

Autoevals — библиотека для автоматической оценки ответов AI-моделей. Она предоставляет единый интерфейс: передайте входные данные, ответ и ожидаемое значение — и получите оценку от 0 до 1 с помощью одного из множества встроенных оценщиков.

В библиотеку входят три группы методов: оценка моделью, в которой LLM выступает судьёй (например, для проверки фактической точности, безопасности, суммаризации, SQL и перевода); эвристические проверки, такие как расстояние Левенштейна, точное совпадение и сравнение JSON; статистические метрики, например BLEU. Также есть оценщики для RAG, проверяющие достоверность ответа, полноту извлечения контекста и релевантность ответа, а также сходство эмбеддингов.

Для пользовательских оценок можно задать шаблоны промптов с настраиваемыми оценками вариантов ответа или использовать обычные функции, возвращающие объект Score. По умолчанию библиотека использует для аутентификации OPENAI_API_KEY, но её можно настроить на любой совместимый с OpenAI endpoint, в том числе Braintrust AI Gateway. Результаты при необходимости можно записывать в Braintrust.

Ключевые возможности

  • 01Оценщики на основе модели, например Factuality, Closed QA, Moderation и SQL
  • 02Эвристические оценщики: расстояние Левенштейна, точное совпадение и сравнение JSON
  • 03Оценщики для RAG: достоверность ответа, полнота извлечения контекста и релевантность ответа
  • 04Пользовательские шаблоны промптов и функции оценки на Python или TypeScript
  • 05Работа с любым совместимым с OpenAI API, поддержка синхронных и асинхронных вызовов

Сценарии использования

  • Проверка фактического соответствия ответа LLM эталонному ответу
  • Оценка качества извлечения данных и ответов в RAG-пайплайне на этапе разработки
  • Сравнение версий промптов или моделей по единым метрикам в тестовом наборе
  • Добавление пользовательских проверок с оценкой LLM или на основе правил в существующий процесс оценки

Быстрый старт

  1. 1

    Установите пакет Python с помощью pip

    pip install autoevals
  2. 2

    Задайте переменную среды OPENAI_API_KEY (аутентификация по умолчанию)

  3. 3

    Запустите оценку фактической точности из Python

Что важно знать

  • Оценщикам на основе LLM нужен ключ API, и по умолчанию они выполняют платные запросы к моделям, однако Braintrust Gateway бесплатен во время бета-тестирования.

В подборках

Фреймворки тестирования и инструменты автоматизации тестов

Темы

#llm-evaluation#evals#llm-as-a-judge#rag#testing#openai#python#typescript

Частые вопросы

Что такое autoevals?
Библиотека на Python и TypeScript для оценки ответов AI-моделей с помощью LLM-as-a-judge, эвристических и статистических методов. Autoevals — библиотека для автоматической оценки ответов AI-моделей. Она предоставляет единый интерфейс: передайте входные данные, ответ и ожидаемое значение — и получите оценку от 0 до 1 с помощью одного из множества встроенных оценщиков.
autoevals можно использовать бесплатно? Какая у него лицензия?
autoevals распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
autoevals всё ещё поддерживается?
Активно поддерживается. Последний коммит в autoevals — 30 окт. 2026 г..
Для чего можно использовать autoevals?
Проверка фактического соответствия ответа LLM эталонному ответу Оценка качества извлечения данных и ответов в RAG-пайплайне на этапе разработки Сравнение версий промптов или моделей по единым метрикам в тестовом наборе Добавление пользовательских проверок с оценкой LLM или на основе правил в существующий процесс оценки
Как установить autoevals?
Установите пакет Python с помощью pip: pip install autoevals Задайте переменную среды OPENAI_API_KEY (аутентификация по умолчанию) Запустите оценку фактической точности из Python
Где скачать autoevals?
Исходный код и инструкции по установке — на GitHub: https://github.com/braintrustdata/autoevals

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

openlayer-ai / jevals

Библиотека Python для запуска eval-проверок и защитных механизмов на размещённых или локальных моделях принятия решений в стиле Jev; все проверки трейса отправляются одним запросом.

ИИ и машинное обучение#agents#llm-evaluation#guardrails
111+1 за неделю12PythonMITАктивно поддерживаетсяОбновлён 4 дня назад