yixuantt/MultiHop-RAG

これは何？

主な機能

• 012〜4件の文書から証拠を集める必要がある質問を2,556件収録
• 02実際のRAGシナリオを反映するため、質問に文書のメタデータを組み込んでいる
• 03任意でリランキングを利用できる検索サンプルスクリプトを収録
• 04Llamaを使ったQAサンプルスクリプトを提供
• 05検索結果とQA結果の評価スクリプトを同梱

ユースケース

• 複数文書にまたがる質問を使った、埋め込みモデルの検索精度のベンチマーク
• LLMが複数の検索結果をまたいで推論できるかのテスト
• メタデータフィルタリングやリランキングを使うRAGパイプラインの比較

クイックスタート

1. 1

   llama-index依存関係をインストールする

   pip install llama-index==0.9.40
2. 2

   シンプルな検索サンプルを実行する

   python simple_retrieval.py --retriever BAAI/llm-embedder
3. 3

   llamaを使ったQAサンプルを実行する

   python qa_llama.py

使う前に知っておきたいこと

• !これは単体で使えるソフトウェアツールではなく、データセットのプロジェクトです。構築コードは整理されておらず、参考用としてのみ提供されています。
• !リポジトリのメタデータにはソフトウェアライセンスの記載がありません。READMEにはデータライセンスとしてODC-BYが記載されています。

収録されている特集

トピック

よくある質問

MultiHop-RAG とは？

メタデータ付きの複数文書を対象とするRAG評価用の、2,556件のマルチホップ質問からなるQAデータセット。 MultiHop-RAGは、複数の文書から証拠を組み合わせる必要がある質問に対して、検索拡張生成（RAG）システムがどの程度適切に対応できるかを評価するベンチマークデータセットです。2,556件の質問が含まれており、それぞれの質問を裏付ける証拠は2〜4件の文書に分散しています。

MultiHop-RAG は無料で使えますか？ライセンスは？

MultiHop-RAG にはライセンスが明記されていません。コードは公開されていますが、ライセンスがない場合は再利用の許諾がないため、利用前に作者に確認することをおすすめします。

MultiHop-RAG は今もメンテナンスされていますか？

半年以内に更新あり。MultiHop-RAG の最終コミットは 2026年9月16日 です。

MultiHop-RAG は何に使えますか？

複数文書にまたがる質問を使った、埋め込みモデルの検索精度のベンチマーク LLMが複数の検索結果をまたいで推論できるかのテスト メタデータフィルタリングやリランキングを使うRAGパイプラインの比較

MultiHop-RAG のインストール方法は？

llama-index依存関係をインストールする: pip install llama-index==0.9.40 シンプルな検索サンプルを実行する: python simple_retrieval.py --retriever BAAI/llm-embedder llamaを使ったQAサンプルを実行する: python qa_llama.py

MultiHop-RAG はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/yixuantt/MultiHop-RAG