Repolode
yixuantt

yixuantt/MultiHop-RAG

메타데이터가 포함된 여러 문서에 걸친 검색 증강 생성 평가를 위한 2,556개의 멀티홉 질의 QA 데이터셋입니다.

스타
476
포크
46
열린 이슈
12
마지막 커밋
지난달

어떤 프로젝트인가요?

MultiHop-RAG는 여러 문서의 근거를 결합해야 하는 질문을 검색 증강 생성(RAG) 시스템이 얼마나 잘 처리하는지 평가하는 벤치마크 데이터셋입니다. 총 2,556개의 질의가 있으며, 각 질의를 뒷받침하는 근거는 2~4개 문서에 나뉘어 있습니다.

질의에는 문서 메타데이터도 포함되어 있어 시스템은 검색과 추론 과정에서 이 정보를 활용해야 합니다. 이는 실제 RAG 애플리케이션에서 흔히 접하는 여러 출처가 섞인 상황을 반영합니다. 이 프로젝트는 COLM 2024 논문과 함께 공개되었으며, 저장소의 파일과 Hugging Face dataloader를 통해 배포됩니다.

저장소에는 llama-index를 사용한 검색 예제 스크립트(BAAI/llm-embedder를 사용하는 선택적 리랭킹 포함)와 Llama를 사용한 질의응답 스크립트, 검색 및 QA 결과 평가 스크립트가 포함되어 있습니다. 데이터셋 구축 파이프라인의 일부도 참고용으로 제공됩니다.

핵심 기능

  • 012~4개 문서의 근거를 필요로 하는 질의 2,556개 포함
  • 02실제 RAG 시나리오를 반영하도록 질의에 문서 메타데이터 포함
  • 03선택적 리랭킹을 지원하는 검색 예제 스크립트 포함
  • 04Llama를 사용하는 QA 예제 스크립트 제공
  • 05검색 및 QA 결과 평가 스크립트 제공

활용 사례

  • 여러 문서에 걸친 질문에서 임베딩 모델의 검색 품질 벤치마킹
  • LLM이 검색된 여러 출처를 바탕으로 추론할 수 있는지 테스트
  • 메타데이터 필터링 또는 리랭킹을 사용하는 RAG 파이프라인 비교

빠른 시작

  1. 1

    llama-index 종속성을 설치합니다

    pip install llama-index==0.9.40
  2. 2

    간단한 검색 샘플을 실행합니다

    python simple_retrieval.py --retriever BAAI/llm-embedder
  3. 3

    llama를 사용한 QA 샘플을 실행합니다

    python qa_llama.py

사용 전 알아둘 점

  • 이 프로젝트는 독립형 소프트웨어 도구가 아니라 데이터셋 프로젝트이며, 구축 코드는 정돈되어 있지 않고 참고용으로만 제공됩니다.
  • 저장소 메타데이터에는 소프트웨어 라이선스가 명시되어 있지 않습니다. README에는 데이터 라이선스로 ODC-BY가 언급되어 있습니다.

포함된 컬렉션

토픽

자주 묻는 질문

MultiHop-RAG은(는) 무엇인가요?
메타데이터가 포함된 여러 문서에 걸친 검색 증강 생성 평가를 위한 2,556개의 멀티홉 질의 QA 데이터셋입니다. MultiHop-RAG는 여러 문서의 근거를 결합해야 하는 질문을 검색 증강 생성(RAG) 시스템이 얼마나 잘 처리하는지 평가하는 벤치마크 데이터셋입니다. 총 2,556개의 질의가 있으며, 각 질의를 뒷받침하는 근거는 2~4개 문서에 나뉘어 있습니다.
MultiHop-RAG은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
MultiHop-RAG에는 명시된 라이선스가 없습니다. 코드는 공개되어 있지만 라이선스가 없으면 재사용 허가가 명확하지 않으므로, 사용 전에 작성자에게 문의하는 것이 좋습니다.
MultiHop-RAG은(는) 아직 유지보수되고 있나요?
6개월 이내 업데이트. MultiHop-RAG의 마지막 커밋은 2026년 9월 16일입니다.
MultiHop-RAG은(는) 어디에 사용할 수 있나요?
여러 문서에 걸친 질문에서 임베딩 모델의 검색 품질 벤치마킹 LLM이 검색된 여러 출처를 바탕으로 추론할 수 있는지 테스트 메타데이터 필터링 또는 리랭킹을 사용하는 RAG 파이프라인 비교
MultiHop-RAG는 어떻게 설치하나요?
llama-index 종속성을 설치합니다: pip install llama-index==0.9.40 간단한 검색 샘플을 실행합니다: python simple_retrieval.py --retriever BAAI/llm-embedder llama를 사용한 QA 샘플을 실행합니다: python qa_llama.py
MultiHop-RAG은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/yixuantt/MultiHop-RAG

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트