Repolode
提交项目
braintrustdata

braintrustdata/autoevals

一个 Python/TypeScript 库，用 LLM 评审、启发式和统计方法为 AI 模型输出打分。

在 GitHub 查看
Star
1,073
Fork
101
未关闭 Issue
59
最近提交
8天前

这是什么？

Autoevals 是一个用于自动评估 AI 模型输出质量的库。调用方式统一：传入 input、output 和 expected，即可从内置的多种评估器中得到 0 到 1 之间的分数。

它整合了三类方法：由 LLM 充当评审的模型打分（适用于事实性、安全性、摘要、SQL、翻译等任务）、Levenshtein 距离、精确匹配、JSON diff 等启发式检查，以及 BLEU 等统计指标。此外还提供面向 RAG 的评分器，如忠实度、上下文召回率和答案相关性，以及 embedding 相似度。

支持通过自定义提示词模板和可配置的选项分值来编写模型评审，也支持用普通函数返回 Score 对象实现非 LLM 的评分逻辑。默认通过 OPENAI_API_KEY 鉴权，也可指向任何兼容 OpenAI 接口的服务，包括 Braintrust AI Gateway。评估结果可选择记录到 Braintrust 中进行对比。

核心功能

  • 01提供 Factuality、Closed QA、Moderation、SQL 等基于模型的评估器
  • 02包含 Levenshtein 距离、精确匹配、JSON diff 等启发式评分器
  • 03提供忠实度、上下文召回率、答案相关性等 RAG 评分器
  • 04支持自定义提示词模板以及自定义 Python 或 TypeScript 评分函数
  • 05兼容任何 OpenAI 接口的服务，支持同步和异步调用

适用场景

  • 检验 LLM 回答与参考答案在事实上是否一致
  • 在开发阶段评估 RAG 流程的检索与回答质量
  • 在测试集中用统一指标比较不同提示词或模型版本
  • 在现有评估流程中加入自定义的 LLM 评审或规则检查

快速上手

  1. 1

    使用 pip 安装 Python 包

    pip install autoevals
  2. 2

    设置 OPENAI_API_KEY 环境变量(默认认证方式)

  3. 3

    在 Python 中运行 Factuality 评估

使用前须知

  • 基于 LLM 的评估器需要 API 密钥,默认会产生付费的模型调用,不过 Braintrust Gateway 在测试期间免费。

收录于专题

测试框架与自动化测试工具

标签

#llm-evaluation#evals#llm-as-a-judge#rag#testing#openai#python#typescript

常见问题

autoevals 是什么？
一个 Python/TypeScript 库，用 LLM 评审、启发式和统计方法为 AI 模型输出打分。 Autoevals 是一个用于自动评估 AI 模型输出质量的库。调用方式统一：传入 input、output 和 expected，即可从内置的多种评估器中得到 0 到 1 之间的分数。
autoevals 可以免费使用吗？用的什么许可证？
autoevals 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。
autoevals 还在维护吗？
活跃维护中。autoevals 最近一次提交是在 2026年10月30日。
autoevals 适合用来做什么？
检验 LLM 回答与参考答案在事实上是否一致 在开发阶段评估 RAG 流程的检索与回答质量 在测试集中用统一指标比较不同提示词或模型版本 在现有评估流程中加入自定义的 LLM 评审或规则检查
autoevals 怎么安装和运行？
使用 pip 安装 Python 包: pip install autoevals 设置 OPENAI_API_KEY 环境变量(默认认证方式) 在 Python 中运行 Factuality 评估
在哪里获取 autoevals？
源代码和安装说明在 GitHub 上：https://github.com/braintrustdata/autoevals

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目