hallucination-leaderboard 可以免费使用吗？用的什么许可证？

hallucination-leaderboard 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

hallucination-leaderboard 还在维护吗？

活跃维护中。hallucination-leaderboard 最近一次提交是在 2026年10月17日。

hallucination-leaderboard 适合用来做什么？

在摘要或 RAG 流程中，按事实可靠性比较候选大语言模型。在忠实于原文比文风流畅更重要的场景中选择模型。跟踪不同模型版本之间幻觉率的变化趋势。

在哪里获取 hallucination-leaderboard？

源代码和安装说明在 GitHub 上：https://github.com/vectara/hallucination-leaderboard

vectara/hallucination-leaderboard

Q: hallucination-leaderboard 是什么？

一个公开排行榜，用 Vectara 的 HHEM 评估模型衡量各大语言模型在短文档摘要中产生幻觉的频率。 该仓库提供一个公开排行榜，用于衡量大语言模型在文档摘要任务中引入幻觉的频率。每个模型会拿到一篇来自私有数据集（超过 7700 篇文章）的文档，并被要求仅依据原文事实进行摘要。随后，Vectara 的幻觉评估模型（HHEM）检查每份摘要与原文是否事实一致，从而得出每个模型的幻觉率和事实一致率。

一个公开排行榜，用 Vectara 的 HHEM 评估模型衡量各大语言模型在短文档摘要中产生幻觉的频率。

在 GitHub 查看官网

Star: 3,322
Fork: 107
未关闭 Issue: 20
最近提交: 4天前

这是什么？

该仓库提供一个公开排行榜，用于衡量大语言模型在文档摘要任务中引入幻觉的频率。每个模型会拿到一篇来自私有数据集（超过 7700 篇文章）的文档，并被要求仅依据原文事实进行摘要。随后，Vectara 的幻觉评估模型（HHEM）检查每份摘要与原文是否事实一致，从而得出每个模型的幻觉率和事实一致率。

排行榜还列出了回答率（模型拒绝摘要的比例）和平均摘要长度，避免模型通过输出极短内容来获得虚高分数。随着模型和 API 更新，排行榜会定期刷新。数据集不公开，以减少过拟合风险；交互式版本托管在 Hugging Face 上。

仓库记录了所用提示词、温度参数，以及每个模型的具体版本和调用渠道，涵盖 Anthropic、OpenAI、Google Vertex AI、Mistral、Cohere 以及通过托管推理服务调用的多个开源权重模型。

核心功能

01按文档摘要中的幻觉率对数十个大语言模型进行排名。
02使用 Vectara 的 HHEM 模型评估每份摘要的事实一致性。
03在准确率之外同时报告回答率和平均摘要长度。
04记录所用的提示词、温度参数和具体模型版本。
05评估数据集不公开，以减少过拟合。

适用场景

在摘要或 RAG 流程中，按事实可靠性比较候选大语言模型。
在忠实于原文比文风流畅更重要的场景中选择模型。
跟踪不同模型版本之间幻觉率的变化趋势。

使用前须知

评估模型 HHEM-2.3 是 Vectara 的商业模型，公开可用的只有开源变体 HHEM-2.1-Open。
评估数据集不公开，因此无法独立复现这些排名结果。

常见问题

hallucination-leaderboard 是什么？: 一个公开排行榜，用 Vectara 的 HHEM 评估模型衡量各大语言模型在短文档摘要中产生幻觉的频率。该仓库提供一个公开排行榜，用于衡量大语言模型在文档摘要任务中引入幻觉的频率。每个模型会拿到一篇来自私有数据集（超过 7700 篇文章）的文档，并被要求仅依据原文事实进行摘要。随后，Vectara 的幻觉评估模型（HHEM）检查每份摘要与原文是否事实一致，从而得出每个模型的幻觉率和事实一致率。
hallucination-leaderboard 可以免费使用吗？用的什么许可证？: hallucination-leaderboard 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
hallucination-leaderboard 还在维护吗？: 活跃维护中。hallucination-leaderboard 最近一次提交是在 2026年10月17日。
hallucination-leaderboard 适合用来做什么？: 在摘要或 RAG 流程中，按事实可靠性比较候选大语言模型。在忠实于原文比文风流畅更重要的场景中选择模型。跟踪不同模型版本之间幻觉率的变化趋势。
在哪里获取 hallucination-leaderboard？: 源代码和安装说明在 GitHub 上：https://github.com/vectara/hallucination-leaderboard

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。