Azure-Samples/ai-rag-chat-evaluator

这是什么？

核心功能

• 01使用 groundedness、relevance、coherence 等基于 GPT 的指标为 RAG 回答打分。
• 02计算延迟、回答长度、引用格式等本地代码指标。
• 03生成标准问答集，包括文档无法回答的问题。
• 04在终端中逐题对比多次运行的回答，并可按变化的指标筛选。
• 05支持 Azure OpenAI（无密钥认证）和 openai.com 账户。

适用场景

• 在上线前验证提示词或搜索参数的修改是否真正提升回答质量。
• 衡量 RAG 应用在资料中没有答案时是否会主动说“不知道”。
• 开发过程中用少量问题快速运行子集评估。
• 逐题对比两次实验结果，定位回答质量的退化。

快速上手

1. 1

   安装 Python 3.10 或更高版本

2. 2

   创建并激活 Python 虚拟环境

3. 3

   在虚拟环境中安装本项目

   python -m pip install -e .
4. 4

   使用示例配置运行评估

   python -m evaltools evaluate --config=example_config.json

使用前须知

• !评估依赖 GPT-4 级别的模型，因此需要 Azure OpenAI 或 openai.com 实例。
• !使用基于 GPT 的评估器会为每个问题和每个评估器产生令牌费用。
• !内置指标使用英文提示词，仅适用于英文答案。

收录于专题

标签

常见问题

ai-rag-chat-evaluator 是什么？

使用 Azure AI Evaluate SDK 与 OpenAI 评估模型，对 RAG 问答应用的回答质量进行测试的工具集。 这是一个命令行评估工具，用于衡量基于检索增强生成（RAG）构建的问答应用的回答质量。系统提示词、搜索参数和 GPT 模型设置都会影响回答效果，因此每次修改都可以用一组标准问答对进行验证。

ai-rag-chat-evaluator 可以免费使用吗？用的什么许可证？

ai-rag-chat-evaluator 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。

ai-rag-chat-evaluator 还在维护吗？

活跃维护中。ai-rag-chat-evaluator 最近一次提交是在 2026年11月3日。

ai-rag-chat-evaluator 适合用来做什么？

在上线前验证提示词或搜索参数的修改是否真正提升回答质量。 衡量 RAG 应用在资料中没有答案时是否会主动说“不知道”。 开发过程中用少量问题快速运行子集评估。 逐题对比两次实验结果，定位回答质量的退化。

ai-rag-chat-evaluator 怎么安装和运行？

安装 Python 3.10 或更高版本 创建并激活 Python 虚拟环境 在虚拟环境中安装本项目: python -m pip install -e . 使用示例配置运行评估: python -m evaltools evaluate --config=example_config.json

在哪里获取 ai-rag-chat-evaluator？

源代码和安装说明在 GitHub 上：https://github.com/Azure-Samples/ai-rag-chat-evaluator