Azure-Samples/ai-rag-chat-evaluator

Что это?

Ключевые возможности

• 01Оценивает ответы RAG с помощью метрик на базе GPT, таких как обоснованность источниками, релевантность и связность.
• 02Рассчитывает метрики на основе кода, включая задержку, длину ответа и наличие цитат.
• 03Генерирует эталонные наборы вопросов, в том числе вопросы, на которые в документах нет ответа.
• 04Сравнивает ответы разных запусков в терминале и позволяет отфильтровать результаты по изменившимся метрикам.
• 05Поддерживает Azure OpenAI с аутентификацией без ключа, а также аккаунты openai.com.

Сценарии использования

• Проверка того, улучшает ли изменение промпта или настроек поиска качество ответов перед развертыванием.
• Оценка того, как часто RAG-чат-приложение признаёт, что не знает ответа, если в источниках его нет.
• Быстрый запуск оценки на ограниченном наборе вопросов во время разработки.
• Сравнение двух запусков эксперимента по каждому вопросу для выявления регрессий.

Быстрый старт

1. 1

   Установите Python 3.10 или более поздней версии

2. 2

   Создайте и активируйте виртуальное окружение Python

3. 3

   Установите проект в виртуальное окружение

   python -m pip install -e .
4. 4

   Запустите оценивание с примером конфигурации

   python -m evaltools evaluate --config=example_config.json

Что важно знать

• !Для оценивания нужна модель класса GPT-4, поэтому потребуется экземпляр Azure OpenAI или openai.com.
• !Запуск оценщиков на основе GPT приводит к расходу токенов для каждого вопроса и каждого используемого оценщика.
• !Встроенные метрики используют запросы на английском языке и подходят только для ответов на английском.

В подборках

Темы

Частые вопросы

Что такое ai-rag-chat-evaluator?

Скрипты и инструменты для оценки RAG-чат-приложений с помощью Azure AI Evaluate SDK и оценщиков на базе OpenAI. Проект предоставляет инструментарий командной строки для оценки качества ответов чат-приложений на основе генерации с дополнением извлечённой информацией (RAG). На ответы влияют такие параметры, как системный промпт, настройки поиска и параметры модели GPT, поэтому каждое изменение можно проверить на наборе эталонных пар «вопрос — ответ».

ai-rag-chat-evaluator можно использовать бесплатно? Какая у него лицензия?

ai-rag-chat-evaluator распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.

ai-rag-chat-evaluator всё ещё поддерживается?

Активно поддерживается. Последний коммит в ai-rag-chat-evaluator — 3 нояб. 2026 г..

Для чего можно использовать ai-rag-chat-evaluator?

Проверка того, улучшает ли изменение промпта или настроек поиска качество ответов перед развертыванием. Оценка того, как часто RAG-чат-приложение признаёт, что не знает ответа, если в источниках его нет. Быстрый запуск оценки на ограниченном наборе вопросов во время разработки. Сравнение двух запусков эксперимента по каждому вопросу для выявления регрессий.

Как установить ai-rag-chat-evaluator?

Установите Python 3.10 или более поздней версии Создайте и активируйте виртуальное окружение Python Установите проект в виртуальное окружение: python -m pip install -e . Запустите оценивание с примером конфигурации: python -m evaltools evaluate --config=example_config.json

Где скачать ai-rag-chat-evaluator?

Исходный код и инструкции по установке — на GitHub: https://github.com/Azure-Samples/ai-rag-chat-evaluator