Repolode
提交项目
evidentlyai

evidentlyai/evidently

开源 Python 框架，用于评估、测试和监控机器学习与 LLM 系统，内置 100 多种指标。

在 GitHub 查看官网
Star
7,999
Fork
954
未关闭 Issue
345
最近提交
23天前

这是什么？

Evidently 是一个开源 Python 库，用于评估、测试和监控机器学习及 LLM 系统，覆盖从实验到生产的全过程。它支持表格和文本数据，既能评估分类、回归等预测任务，也能评估 RAG 与生成式输出的质量。

核心用法是 Report（报告）与 Test Suite（测试套件）。Report 用于计算并汇总各类指标，Test Suite 则在报告基础上加入通过/失败条件，适用于回归测试、CI/CD 检查和数据校验。报告可在 Python 中查看，也可导出为 JSON、Python 字典或 HTML。内置功能包括数据漂移检测、数据质量检查和 LLM 评判器，并支持用 Python 编写自定义指标。

对于持续监控，Evidently 提供 Web 界面，用于跟踪指标与测试结果随时间的变化。开源版本可自行部署，也可直接使用托管的 Evidently Cloud 服务。

核心功能

  • 01内置数据漂移、数据质量、分类、回归、排序和推荐等指标。
  • 02支持文本描述符和 LLM-as-a-judge 等 LLM 输出评估方式。
  • 03Report 与 Test Suite 支持通过/失败条件，适用于 CI/CD 和回归检查。
  • 04可将结果导出为 HTML、JSON 或 Python 字典。
  • 05提供可自部署的监控界面，用于跟踪指标随时间的变化。

适用场景

  • 检测线上输入数据是否偏离训练数据分布。
  • 在 CI 流水线中对 LLM 或 RAG 输出进行回归测试。
  • 在模型训练或批处理流程前校验数据质量。
  • 在仪表盘上长期监控已部署模型的表现。

快速上手

  1. 1

    从 PyPI 安装 Evidently

    pip install evidently
  2. 2

    使用演示项目启动 Evidently UI

    evidently ui --demo-projects all
  3. 3

    在浏览器中打开 localhost:8000 访问界面

使用前须知

  • 告警、数据集与用户管理以及无代码评估等高级功能仅在 Evidently Cloud 中提供，开源版本不包含。

标签

#machine-learning#llm#mlops#model-monitoring#data-drift#data-quality#evaluation#data-science#data-validation#generative-ai

常见问题

evidently 是什么？
开源 Python 框架，用于评估、测试和监控机器学习与 LLM 系统，内置 100 多种指标。 Evidently 是一个开源 Python 库，用于评估、测试和监控机器学习及 LLM 系统，覆盖从实验到生产的全过程。它支持表格和文本数据，既能评估分类、回归等预测任务，也能评估 RAG 与生成式输出的质量。
evidently 可以免费使用吗？用的什么许可证？
evidently 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
evidently 还在维护吗？
活跃维护中。evidently 最近一次提交是在 2026年9月29日。
evidently 适合用来做什么？
检测线上输入数据是否偏离训练数据分布。 在 CI 流水线中对 LLM 或 RAG 输出进行回归测试。 在模型训练或批处理流程前校验数据质量。 在仪表盘上长期监控已部署模型的表现。
evidently 怎么安装和运行？
从 PyPI 安装 Evidently: pip install evidently 使用演示项目启动 Evidently UI: evidently ui --demo-projects all 在浏览器中打开 localhost:8000 访问界面
在哪里获取 evidently？
源代码和安装说明在 GitHub 上：https://github.com/evidentlyai/evidently

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目