Repolode
yixuantt

yixuantt/MultiHop-RAG

一个包含 2556 条多跳问题的问答数据集,用于评估跨文档的检索增强生成(RAG)效果。

Star
476
Fork
46
未关闭 Issue
12
最近提交
上个月

这是什么?

MultiHop-RAG 是一个基准数据集,用于测试检索增强生成(RAG)系统在回答需要综合多篇文档证据的问题时的表现。数据集共包含 2556 条查询,每条查询的证据分布在 2 到 4 篇文档中。

查询中还涉及文档元数据,系统在检索和推理时需要利用这些信息,贴近真实 RAG 应用中多来源混合的场景。该项目配套 COLM 2024 论文,数据可通过仓库文件获取,也提供 Hugging Face 数据加载方式。

仓库提供了基于 llama-index 的检索示例(可选重排序,使用 BAAI/llm-embedder)和基于 Llama 的问答示例,并附带检索与问答结果的评估脚本。数据集的部分构建流程代码也一并开源,供参考。

核心功能

  • 01包含 2556 条查询,每条需要 2 到 4 篇文档的证据
  • 02查询涉及文档元数据,贴近真实 RAG 应用场景
  • 03提供带可选重排序的检索示例脚本
  • 04提供基于 Llama 的问答示例脚本
  • 05附带检索和问答结果的评估脚本

适用场景

  • 评测嵌入模型在多文档问题上的检索效果
  • 测试大模型能否综合多个检索来源进行推理
  • 比较使用元数据过滤或重排序的 RAG 流程

快速上手

  1. 1

    安装 llama-index 依赖

    pip install llama-index==0.9.40
  2. 2

    运行简单检索示例

    python simple_retrieval.py --retriever BAAI/llm-embedder
  3. 3

    运行基于 llama 的问答示例

    python qa_llama.py

使用前须知

  • 这是一个数据集项目而非独立软件工具,构建代码结构较乱,仅供参考。
  • 元数据中未标注软件许可证;README 中注明的是 ODC-BY 数据许可证。

收录于专题

标签

常见问题

MultiHop-RAG 是什么?
一个包含 2556 条多跳问题的问答数据集,用于评估跨文档的检索增强生成(RAG)效果。 MultiHop-RAG 是一个基准数据集,用于测试检索增强生成(RAG)系统在回答需要综合多篇文档证据的问题时的表现。数据集共包含 2556 条查询,每条查询的证据分布在 2 到 4 篇文档中。
MultiHop-RAG 可以免费使用吗?用的什么许可证?
MultiHop-RAG 没有声明许可证。代码虽然公开,但没有许可证就没有明确的使用授权,正式使用前建议先联系作者。
MultiHop-RAG 还在维护吗?
半年内有更新。MultiHop-RAG 最近一次提交是在 2026年9月16日。
MultiHop-RAG 适合用来做什么?
评测嵌入模型在多文档问题上的检索效果 测试大模型能否综合多个检索来源进行推理 比较使用元数据过滤或重排序的 RAG 流程
MultiHop-RAG 怎么安装和运行?
安装 llama-index 依赖: pip install llama-index==0.9.40 运行简单检索示例: python simple_retrieval.py --retriever BAAI/llm-embedder 运行基于 llama 的问答示例: python qa_llama.py
在哪里获取 MultiHop-RAG?
源代码和安装说明在 GitHub 上:https://github.com/yixuantt/MultiHop-RAG

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目