Repolode
Предложить
confident-ai

confident-ai/deepeval

Открытый Python-фреймворк для модульного тестирования приложений на базе LLM: метрики для RAG, агентов, чат-ботов, голосовых агентов и многого другого — в духе Pytest.

Открыть на GitHubСайт
Звёзды
18,982
Форки
2,102
Открытые issues
751
Последний коммит
вчера

Что это?

DeepEval — открытый фреймворк для оценки LLM-приложений. Он работает по принципу Pytest, но предназначен для результатов LLM: вы задаёте тестовые случаи с входными данными, фактическим ответом приложения и, при необходимости, ожидаемым ответом или контекстом поиска, а затем оцениваете их по метрикам. Для многих метрик, например G-Eval, в роли судьи выступает LLM; фреймворк совместим с выбранной вами LLM.

Библиотека позволяет оценивать приложение целиком как чёрный ящик, а также проводить компонентную оценку и оценку траекторий работы AI-агентов, вызовов инструментов, этапов поиска и передачи задач между субагентами. Среди готовых метрик — релевантность ответа, faithfulness, контекстные precision и recall для RAG, выполнение задач и корректность вызова инструментов агентами, сохранение знаний в многоходовых чат-ботах, а также проверки на галлюцинации, предвзятость и токсичность. Можно создавать собственные метрики и подключать их к тому же процессу.

Тесты запускаются из командной строки с помощью `deepeval test run` и встраиваются в CI/CD-пайплайны. Интеграции для трассировки поддерживают OpenAI, Anthropic, LangChain, LangGraph, LlamaIndex, CrewAI, Pydantic AI и другие инструменты. Результаты можно при желании синхронизировать с платформой Confident AI, чтобы создавать отчёты, которыми удобно делиться.

Ключевые возможности

  • 01Модульные тесты результатов LLM в стиле Pytest, запускаемые командой `deepeval test run`.
  • 02Встроенные метрики для RAG, AI-агентов, многоходовых чат-ботов, голосовых агентов, MCP и мультимодальных результатов.
  • 03Метрики G-Eval и DAG, в которых LLM выступает судьёй по заданным критериям.
  • 04Оценка приложения целиком, отдельных компонентов и траекторий работы с трассировкой.
  • 05Интеграции с OpenAI, Anthropic, LangChain, LlamaIndex, CrewAI и другими фреймворками.
  • 06Генерация синтетических наборов данных и оптимизация промптов на основе результатов оценки.

Сценарии использования

  • Добавление регрессионных тестов для RAG-пайплайна в CI/CD-процесс.
  • Проверка того, выполняет ли AI-агент задачи и вызывает ли нужные инструменты.
  • Оценка того, соблюдает ли многоходовой чат-бот поддержки заданную роль и сохраняет ли знания.
  • Сравнение моделей или промптов перед переходом на другого провайдера LLM.

Быстрый старт

  1. 1

    Откройте краткое руководство из README в Google Colab (устанавливать что-либо локально не нужно).

Что важно знать

  • Метрики LLM-as-a-judge зависят от выбранной вами LLM, для которой может потребоваться API-ключ и оплата использования.

Темы

#llm-evaluation#testing#rag#ai-agents#python#pytest#llm-as-a-judge#evaluation-framework#evaluation-metrics#llm-evaluation-framework

Частые вопросы

Что такое deepeval?
Открытый Python-фреймворк для модульного тестирования приложений на базе LLM: метрики для RAG, агентов, чат-ботов, голосовых агентов и многого другого — в духе Pytest. DeepEval — открытый фреймворк для оценки LLM-приложений. Он работает по принципу Pytest, но предназначен для результатов LLM: вы задаёте тестовые случаи с входными данными, фактическим ответом приложения и, при необходимости, ожидаемым ответом или контекстом поиска, а затем оцениваете их по метрикам. Для многих метрик, например G-Eval, в роли судьи выступает LLM; фреймворк совместим с выбранной вами LLM.
deepeval можно использовать бесплатно? Какая у него лицензия?
deepeval распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
deepeval всё ещё поддерживается?
Активно поддерживается. Последний коммит в deepeval — 19 окт. 2026 г..
Для чего можно использовать deepeval?
Добавление регрессионных тестов для RAG-пайплайна в CI/CD-процесс. Проверка того, выполняет ли AI-агент задачи и вызывает ли нужные инструменты. Оценка того, соблюдает ли многоходовой чат-бот поддержки заданную роль и сохраняет ли знания. Сравнение моделей или промптов перед переходом на другого провайдера LLM.
Как установить deepeval?
Откройте краткое руководство из README в Google Colab (устанавливать что-либо локально не нужно).
Где скачать deepeval?
Исходный код и инструкции по установке — на GitHub: https://github.com/confident-ai/deepeval

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты