Repolode
提交项目
KRLabsOrg

KRLabsOrg/LettuceDetect

开源的片段级幻觉检测工具，对照源证据标出 RAG、代码智能体和工具输出中不被支持的内容。

在 GitHub 查看官网
Star
620
Fork
64
未关闭 Issue
28
最近提交
22小时前

这是什么？

LettuceDetect 用于检查 AI 生成的回答是否忠实于其依据的证据。给定上下文、问题和回答，它会标出其中不被支持、相互矛盾或凭空编造的具体字符片段，而不是只给出整段回答合格或不合格的结论。适用范围包括 RAG 生成的文本、多语言问答、代码智能体的回复以及开发工具的输出。

项目提供两类模型。基于编码器的快速模型（英文为 ModernBERT，多语言为 EuroBERT，v2 版本基于 mmBERT）可在本地以词元分类方式运行。生成式模型（如基于 Qwen 的 2B 版 v2 检测器）可一次性输出带类别和子类别的片段。编码器模型也可以接入分类头对片段进行类型标注。此外还提供基于 OpenAI API 的 LLM 基线方法用于对比。

Python 包可通过 pip 安装，并能用几行代码从 Hugging Face 加载模型。项目还包含基于 FastAPI 的 Web 服务和 Python 客户端、Streamlit 演示，以及针对 RAGTruth 数据集的训练和评估脚本。

核心功能

  • 01返回回答中不被支持或凭空编造内容的精确字符位置。
  • 02提供本地运行的快速编码器模型，以及可为每个片段标注类型的生成式模型。
  • 03支持英文及多语言 RAG 回答，并覆盖代码智能体和工具输出。
  • 04提供可通过 pip 安装的 Python API，以及带 Python 客户端的 FastAPI 服务。
  • 05包含针对 RAGTruth 数据集的训练和评估脚本。

适用场景

  • 检查 RAG 聊天机器人的回答是否有检索文档支撑。
  • 对照代码仓库源码，标出代码智能体回复中虚构的 API 或错误数值。
  • 在把工具调用输出展示给用户之前进行审核。
  • 在 RAGTruth 类数据上评测幻觉检测模型。

快速上手

  1. 1

    从 PyPI 安装软件包

    pip install lettucedetect -U
  2. 2

    按 README 中的 Python 示例，对上下文、问题和答案运行检测器

使用前须知

  • EuroBERT 模型需要 transformers 低于 5.x 版本，因为它们尚不兼容 transformers 5。
  • 基于 LLM 的基线方法需要 OpenAI API 密钥。

收录于专题

测试框架与自动化测试工具自然语言处理工具与库

标签

#hallucination-detection#rag#nlp#token-classification#pytorch#bert#llm-evaluation#hallucination-evaluation#information-extraction#python

常见问题

LettuceDetect 是什么？
开源的片段级幻觉检测工具，对照源证据标出 RAG、代码智能体和工具输出中不被支持的内容。 LettuceDetect 用于检查 AI 生成的回答是否忠实于其依据的证据。给定上下文、问题和回答，它会标出其中不被支持、相互矛盾或凭空编造的具体字符片段，而不是只给出整段回答合格或不合格的结论。适用范围包括 RAG 生成的文本、多语言问答、代码智能体的回复以及开发工具的输出。
LettuceDetect 可以免费使用吗？用的什么许可证？
LettuceDetect 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。
LettuceDetect 还在维护吗？
活跃维护中。LettuceDetect 最近一次提交是在 2026年11月6日。
LettuceDetect 适合用来做什么？
检查 RAG 聊天机器人的回答是否有检索文档支撑。 对照代码仓库源码，标出代码智能体回复中虚构的 API 或错误数值。 在把工具调用输出展示给用户之前进行审核。 在 RAGTruth 类数据上评测幻觉检测模型。
LettuceDetect 怎么安装和运行？
从 PyPI 安装软件包: pip install lettucedetect -U 按 README 中的 Python 示例，对上下文、问题和答案运行检测器
在哪里获取 LettuceDetect？
源代码和安装说明在 GitHub 上：https://github.com/KRLabsOrg/LettuceDetect

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目