Repolode
投稿する
confident-ai

confident-ai/deepeval

Pytestに着想を得た、RAG、エージェント、チャットボット、音声エージェントなどの指標を備える、LLMアプリ向けオープンソースPythonテストフレームワーク。

GitHub で見る公式サイト
スター
18,982
フォーク
2,102
未解決の Issue
751
最終コミット
一昨日

これは何？

DeepEvalは、LLMアプリケーションをテストするためのオープンソースLLM評価フレームワークです。Pytestのように使えますが、LLMの出力評価に特化しています。入力、アプリケーションの実際の出力、任意の期待出力や検索コンテキストを含むテストケースを作成し、指標に基づいてスコアを付けます。G-Evalなど多くの指標ではLLMを評価者として使用し、任意のLLMと連携できます。

このライブラリでは、アプリをブラックボックスとして扱うエンドツーエンド評価に加え、AIエージェント、ツール呼び出し、検索ステップ、サブエージェントへの引き継ぎを対象とした、コンポーネント単位や軌跡ベースの評価も行えます。組み込み指標には、RAG向けの回答の関連性、忠実性、コンテキストの適合率と再現率、エージェント向けのタスク完了度とツールの正確性、複数ターンのチャットボット向けの知識保持、ハルシネーション・バイアス・有害性のチェックなどがあります。カスタム指標を作成し、同じワークフローに組み込むこともできます。

テストはコマンドラインから `deepeval test run` で実行でき、CI/CDパイプラインにも組み込めます。トレーシング連携は、OpenAI、Anthropic、LangChain、LangGraph、LlamaIndex、CrewAI、Pydantic AIなどに対応しています。結果は任意でConfident AIプラットフォームに同期し、共有可能なレポートを作成できます。

主な機能

  • 01LLMの出力を対象とするPytest形式のユニットテスト。`deepeval test run` で実行できます。
  • 02RAG、AIエージェント、複数ターンのチャットボット、音声エージェント、MCP、マルチモーダル出力向けの組み込み指標。
  • 03カスタム基準を使い、LLMを評価者とするG-EvalおよびDAG指標。
  • 04トレーシングを用いたエンドツーエンド、コンポーネント単位、軌跡ベースの評価。
  • 05OpenAI、Anthropic、LangChain、LlamaIndex、CrewAIなどのフレームワークとの連携。
  • 06合成データセットの生成と、評価結果に基づくプロンプトの最適化。

ユースケース

  • RAGパイプラインの回帰テストをCI/CDワークフローに追加する。
  • AIエージェントがタスクを完了し、適切なツールを呼び出すか確認する。
  • 複数ターンのカスタマーサポートチャットボットについて、役割の遵守と知識保持を評価する。
  • LLMプロバイダーを切り替える前に、モデルやプロンプトを比較する。

クイックスタート

  1. 1

    READMEのクイックスタートをGoogle Colabで開きます（ローカルへのインストールは不要です）

使う前に知っておきたいこと

  • LLM-as-a-judgeの指標には任意のLLMが必要です。APIキーが必要になる場合があり、利用料金が発生することもあります。

トピック

#llm-evaluation#testing#rag#ai-agents#python#pytest#llm-as-a-judge#evaluation-framework#evaluation-metrics#llm-evaluation-framework

よくある質問

deepeval とは？
Pytestに着想を得た、RAG、エージェント、チャットボット、音声エージェントなどの指標を備える、LLMアプリ向けオープンソースPythonテストフレームワーク。 DeepEvalは、LLMアプリケーションをテストするためのオープンソースLLM評価フレームワークです。Pytestのように使えますが、LLMの出力評価に特化しています。入力、アプリケーションの実際の出力、任意の期待出力や検索コンテキストを含むテストケースを作成し、指標に基づいてスコアを付けます。G-Evalなど多くの指標ではLLMを評価者として使用し、任意のLLMと連携できます。
deepeval は無料で使えますか？ライセンスは？
deepeval は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
deepeval は今もメンテナンスされていますか？
活発にメンテナンス中。deepeval の最終コミットは 2026年10月19日 です。
deepeval は何に使えますか？
RAGパイプラインの回帰テストをCI/CDワークフローに追加する。 AIエージェントがタスクを完了し、適切なツールを呼び出すか確認する。 複数ターンのカスタマーサポートチャットボットについて、役割の遵守と知識保持を評価する。 LLMプロバイダーを切り替える前に、モデルやプロンプトを比較する。
deepeval のインストール方法は？
READMEのクイックスタートをGoogle Colabで開きます（ローカルへのインストールは不要です）
deepeval はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/confident-ai/deepeval

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト