벤치마크에서 LLM, VLM, AIGC 모델을 평가하고 추론 성능을 부하 테스트하며 결과를 대시보드에서 확인할 수 있는 맞춤형 프레임워크입니다.
yixuantt/MultiHop-RAG
메타데이터가 포함된 여러 문서에 걸친 검색 증강 생성 평가를 위한 2,556개의 멀티홉 질의 QA 데이터셋입니다.
- 스타
- 476
- 포크
- 46
- 열린 이슈
- 12
- 마지막 커밋
- 지난달
어떤 프로젝트인가요?
MultiHop-RAG는 여러 문서의 근거를 결합해야 하는 질문을 검색 증강 생성(RAG) 시스템이 얼마나 잘 처리하는지 평가하는 벤치마크 데이터셋입니다. 총 2,556개의 질의가 있으며, 각 질의를 뒷받침하는 근거는 2~4개 문서에 나뉘어 있습니다.
질의에는 문서 메타데이터도 포함되어 있어 시스템은 검색과 추론 과정에서 이 정보를 활용해야 합니다. 이는 실제 RAG 애플리케이션에서 흔히 접하는 여러 출처가 섞인 상황을 반영합니다. 이 프로젝트는 COLM 2024 논문과 함께 공개되었으며, 저장소의 파일과 Hugging Face dataloader를 통해 배포됩니다.
저장소에는 llama-index를 사용한 검색 예제 스크립트(BAAI/llm-embedder를 사용하는 선택적 리랭킹 포함)와 Llama를 사용한 질의응답 스크립트, 검색 및 QA 결과 평가 스크립트가 포함되어 있습니다. 데이터셋 구축 파이프라인의 일부도 참고용으로 제공됩니다.
핵심 기능
- 012~4개 문서의 근거를 필요로 하는 질의 2,556개 포함
- 02실제 RAG 시나리오를 반영하도록 질의에 문서 메타데이터 포함
- 03선택적 리랭킹을 지원하는 검색 예제 스크립트 포함
- 04Llama를 사용하는 QA 예제 스크립트 제공
- 05검색 및 QA 결과 평가 스크립트 제공
활용 사례
- 여러 문서에 걸친 질문에서 임베딩 모델의 검색 품질 벤치마킹
- LLM이 검색된 여러 출처를 바탕으로 추론할 수 있는지 테스트
- 메타데이터 필터링 또는 리랭킹을 사용하는 RAG 파이프라인 비교
빠른 시작
- 1
llama-index 종속성을 설치합니다
pip install llama-index==0.9.40 - 2
간단한 검색 샘플을 실행합니다
python simple_retrieval.py --retriever BAAI/llm-embedder - 3
llama를 사용한 QA 샘플을 실행합니다
python qa_llama.py
사용 전 알아둘 점
- 이 프로젝트는 독립형 소프트웨어 도구가 아니라 데이터셋 프로젝트이며, 구축 코드는 정돈되어 있지 않고 참고용으로만 제공됩니다.
- 저장소 메타데이터에는 소프트웨어 라이선스가 명시되어 있지 않습니다. README에는 데이터 라이선스로 ODC-BY가 언급되어 있습니다.
포함된 컬렉션
토픽
자주 묻는 질문
- MultiHop-RAG은(는) 무엇인가요?
- 메타데이터가 포함된 여러 문서에 걸친 검색 증강 생성 평가를 위한 2,556개의 멀티홉 질의 QA 데이터셋입니다. MultiHop-RAG는 여러 문서의 근거를 결합해야 하는 질문을 검색 증강 생성(RAG) 시스템이 얼마나 잘 처리하는지 평가하는 벤치마크 데이터셋입니다. 총 2,556개의 질의가 있으며, 각 질의를 뒷받침하는 근거는 2~4개 문서에 나뉘어 있습니다.
- MultiHop-RAG은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- MultiHop-RAG에는 명시된 라이선스가 없습니다. 코드는 공개되어 있지만 라이선스가 없으면 재사용 허가가 명확하지 않으므로, 사용 전에 작성자에게 문의하는 것이 좋습니다.
- MultiHop-RAG은(는) 아직 유지보수되고 있나요?
- 6개월 이내 업데이트. MultiHop-RAG의 마지막 커밋은 2026년 9월 16일입니다.
- MultiHop-RAG은(는) 어디에 사용할 수 있나요?
- 여러 문서에 걸친 질문에서 임베딩 모델의 검색 품질 벤치마킹 LLM이 검색된 여러 출처를 바탕으로 추론할 수 있는지 테스트 메타데이터 필터링 또는 리랭킹을 사용하는 RAG 파이프라인 비교
- MultiHop-RAG는 어떻게 설치하나요?
- llama-index 종속성을 설치합니다: pip install llama-index==0.9.40 간단한 검색 샘플을 실행합니다: python simple_retrieval.py --retriever BAAI/llm-embedder llama를 사용한 QA 샘플을 실행합니다: python qa_llama.py
- MultiHop-RAG은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/yixuantt/MultiHop-RAG
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
텍스트-비디오 및 이미지-비디오 생성 모델을 다양한 품질·의미 차원에서 점수화하는 벤치마크 모음이자 평가 툴킷입니다.
수십 가지 표준 학술 벤치마크에서 언어 모델의 few-shot 평가를 실행하는 통합 프레임워크입니다.
100개 이상의 데이터셋과 다양한 모델 제공자 및 추론 백엔드를 지원하는 오픈소스 LLM 평가 통합 플랫폼입니다.
LLM을 자율 에이전트로 평가하는 테스트 프레임워크로, 완료도·안전성·견고성을 기준으로 채점하는 사람이 검증한 300개 작업을 제공합니다.
메모리 내, Docker, VM, 물리 머신 환경에서 멀티모달 LLM 에이전트를 평가하는 크로스 환경 벤치마크 구축용 Python 프레임워크입니다.