Repolode
yixuantt

yixuantt/MultiHop-RAG

Dataset de QA com 2.556 consultas multi-hop para avaliar geração aumentada por recuperação em vários documentos com metadados.

Estrelas
476
Forks
46
Issues abertas
12
Último commit
mês passado

O que é?

MultiHop-RAG é um dataset de benchmark para testar o desempenho de sistemas de geração aumentada por recuperação (RAG) ao responder perguntas que exigem combinar evidências de vários documentos. Ele contém 2.556 consultas, e as evidências que dão suporte a cada consulta estão distribuídas por 2 a 4 documentos.

As consultas também fazem referência aos metadados dos documentos, então o sistema precisa usar essas informações durante a recuperação e o raciocínio, reproduzindo situações com fontes variadas, comuns em aplicações reais de RAG. O projeto acompanha um artigo da COLM 2024 e é distribuído tanto em arquivos no repositório quanto por meio de um dataloader do Hugging Face.

O repositório inclui scripts de exemplo para recuperação com llama-index (com reranking opcional usando BAAI/llm-embedder) e para responder perguntas com Llama, além de scripts para avaliar os resultados de recuperação e QA. Parte do pipeline de construção do dataset também está incluída como referência.

Recursos principais

  • 01Contém 2.556 consultas que exigem evidências de 2 a 4 documentos
  • 02As consultas incorporam metadados dos documentos para refletir cenários reais de RAG
  • 03Inclui scripts de exemplo para recuperação com reranking opcional
  • 04Oferece um script de exemplo de QA com Llama
  • 05Inclui scripts para avaliar os resultados de recuperação e QA

Casos de uso

  • Avaliar a qualidade da recuperação de modelos de embedding em perguntas que envolvem vários documentos
  • Testar se um LLM consegue raciocinar com base em várias fontes recuperadas
  • Comparar pipelines de RAG que usam filtragem por metadados ou reranking

Início rápido

  1. 1

    Instale a dependência llama-index

    pip install llama-index==0.9.40
  2. 2

    Execute o exemplo simples de recuperação

    python simple_retrieval.py --retriever BAAI/llm-embedder
  3. 3

    Execute o exemplo de QA com llama

    python qa_llama.py

Antes de usar

  • Este é um projeto de conjunto de dados, não uma ferramenta de software independente, e o código de construção é desorganizado e fornecido apenas como referência.
  • Os metadados do repositório não informam nenhuma licença de software; o README menciona a licença de dados ODC-BY.

Em coleções

Tópicos

Perguntas frequentes

O que é MultiHop-RAG?
Dataset de QA com 2.556 consultas multi-hop para avaliar geração aumentada por recuperação em vários documentos com metadados. MultiHop-RAG é um dataset de benchmark para testar o desempenho de sistemas de geração aumentada por recuperação (RAG) ao responder perguntas que exigem combinar evidências de vários documentos. Ele contém 2.556 consultas, e as evidências que dão suporte a cada consulta estão distribuídas por 2 a 4 documentos.
MultiHop-RAG é gratuito? Qual é a licença?
MultiHop-RAG não declara licença. O código é público, mas sem licença você não tem permissão explícita para reutilizá-lo; fale com o autor antes de depender dele.
MultiHop-RAG ainda é mantido?
Atualizado nos últimos 6 meses. O último commit de MultiHop-RAG foi em 16 de set. de 2026.
Para que posso usar MultiHop-RAG?
Avaliar a qualidade da recuperação de modelos de embedding em perguntas que envolvem vários documentos Testar se um LLM consegue raciocinar com base em várias fontes recuperadas Comparar pipelines de RAG que usam filtragem por metadados ou reranking
Como instalar MultiHop-RAG?
Instale a dependência llama-index: pip install llama-index==0.9.40 Execute o exemplo simples de recuperação: python simple_retrieval.py --retriever BAAI/llm-embedder Execute o exemplo de QA com llama: python qa_llama.py
Onde consigo MultiHop-RAG?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/yixuantt/MultiHop-RAG

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados