Repolode
提交项目
confident-ai

confident-ai/deepeval

开源 Python LLM 评测框架，可像 Pytest 一样对 LLM 应用做单元测试，内置 RAG、Agent、多轮对话等指标。

在 GitHub 查看官网
Star
18,982
Fork
2,102
未关闭 Issue
751
最近提交
昨天

这是什么？

DeepEval 是一个开源的 LLM 评测框架，用于测试大语言模型应用。它的使用方式类似 Pytest：用输入、应用的实际输出以及可选的期望输出或检索上下文编写测试用例，再用指标打分。G-Eval 等多数指标以 LLM 作为评判者，可以选用任意你想用的模型。

框架既支持把应用当作黑盒进行端到端评测，也支持对 AI Agent 的工具调用、检索步骤和子 Agent 交接进行组件级和轨迹级评测。内置指标包括 RAG 的答案相关性、忠实度、上下文精确率与召回率，Agent 的任务完成度和工具调用正确性，多轮对话的知识保持度，以及幻觉、偏见和毒性检测。也可以自定义指标并接入同一套流程。

测试通过命令行 `deepeval test run` 运行，可接入 CI/CD 流水线。追踪集成覆盖 OpenAI、Anthropic、LangChain、LangGraph、LlamaIndex、CrewAI、Pydantic AI 等。评测结果可选同步到 Confident AI 平台生成可分享的报告。

核心功能

  • 01类似 Pytest 的 LLM 输出单元测试，通过 `deepeval test run` 运行。
  • 02内置 RAG、Agent、多轮对话、语音 Agent、MCP 和多模态等指标。
  • 03G-Eval 与 DAG 指标，可用 LLM 裁判按自定义标准打分。
  • 04支持端到端、组件级和轨迹级评测，并提供追踪。
  • 05集成 OpenAI、Anthropic、LangChain、LlamaIndex、CrewAI 等框架。
  • 06可生成单轮和多轮合成数据集，并根据评测结果自动优化提示词。

适用场景

  • 为 RAG 流水线添加回归测试并接入 CI/CD。
  • 检查 AI Agent 是否完成任务并正确调用工具。
  • 评测多轮客服聊天机器人的角色遵循度和知识保持能力。
  • 在切换 LLM 服务商或修改提示词前对比模型效果。

快速上手

  1. 1

    在 Google Colab 中打开 README 中的快速入门笔记本（无需本地安装）

使用前须知

  • 其基于 LLM 作为评判的指标依赖你选择的大语言模型，可能需要 API 密钥并产生使用费用。

标签

#llm-evaluation#testing#rag#ai-agents#python#pytest#llm-as-a-judge#evaluation-framework#evaluation-metrics#llm-evaluation-framework

常见问题

deepeval 是什么？
开源 Python LLM 评测框架，可像 Pytest 一样对 LLM 应用做单元测试，内置 RAG、Agent、多轮对话等指标。 DeepEval 是一个开源的 LLM 评测框架，用于测试大语言模型应用。它的使用方式类似 Pytest：用输入、应用的实际输出以及可选的期望输出或检索上下文编写测试用例，再用指标打分。G-Eval 等多数指标以 LLM 作为评判者，可以选用任意你想用的模型。
deepeval 可以免费使用吗？用的什么许可证？
deepeval 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
deepeval 还在维护吗？
活跃维护中。deepeval 最近一次提交是在 2026年10月19日。
deepeval 适合用来做什么？
为 RAG 流水线添加回归测试并接入 CI/CD。 检查 AI Agent 是否完成任务并正确调用工具。 评测多轮客服聊天机器人的角色遵循度和知识保持能力。 在切换 LLM 服务商或修改提示词前对比模型效果。
deepeval 怎么安装和运行？
在 Google Colab 中打开 README 中的快速入门笔记本（无需本地安装）
在哪里获取 deepeval？
源代码和安装说明在 GitHub 上：https://github.com/confident-ai/deepeval

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目