Framework personalizável para avaliar LLMs, VLMs e modelos de AIGC em benchmarks, testar o desempenho de inferência sob carga e visualizar resultados em dashboards.
yixuantt/MultiHop-RAG
Dataset de QA com 2.556 consultas multi-hop para avaliar geração aumentada por recuperação em vários documentos com metadados.
- Estrelas
- 476
- Forks
- 46
- Issues abertas
- 12
- Último commit
- mês passado
O que é?
MultiHop-RAG é um dataset de benchmark para testar o desempenho de sistemas de geração aumentada por recuperação (RAG) ao responder perguntas que exigem combinar evidências de vários documentos. Ele contém 2.556 consultas, e as evidências que dão suporte a cada consulta estão distribuídas por 2 a 4 documentos.
As consultas também fazem referência aos metadados dos documentos, então o sistema precisa usar essas informações durante a recuperação e o raciocínio, reproduzindo situações com fontes variadas, comuns em aplicações reais de RAG. O projeto acompanha um artigo da COLM 2024 e é distribuído tanto em arquivos no repositório quanto por meio de um dataloader do Hugging Face.
O repositório inclui scripts de exemplo para recuperação com llama-index (com reranking opcional usando BAAI/llm-embedder) e para responder perguntas com Llama, além de scripts para avaliar os resultados de recuperação e QA. Parte do pipeline de construção do dataset também está incluída como referência.
Recursos principais
- 01Contém 2.556 consultas que exigem evidências de 2 a 4 documentos
- 02As consultas incorporam metadados dos documentos para refletir cenários reais de RAG
- 03Inclui scripts de exemplo para recuperação com reranking opcional
- 04Oferece um script de exemplo de QA com Llama
- 05Inclui scripts para avaliar os resultados de recuperação e QA
Casos de uso
- Avaliar a qualidade da recuperação de modelos de embedding em perguntas que envolvem vários documentos
- Testar se um LLM consegue raciocinar com base em várias fontes recuperadas
- Comparar pipelines de RAG que usam filtragem por metadados ou reranking
Início rápido
- 1
Instale a dependência llama-index
pip install llama-index==0.9.40 - 2
Execute o exemplo simples de recuperação
python simple_retrieval.py --retriever BAAI/llm-embedder - 3
Execute o exemplo de QA com llama
python qa_llama.py
Antes de usar
- Este é um projeto de conjunto de dados, não uma ferramenta de software independente, e o código de construção é desorganizado e fornecido apenas como referência.
- Os metadados do repositório não informam nenhuma licença de software; o README menciona a licença de dados ODC-BY.
Em coleções
Tópicos
Perguntas frequentes
- O que é MultiHop-RAG?
- Dataset de QA com 2.556 consultas multi-hop para avaliar geração aumentada por recuperação em vários documentos com metadados. MultiHop-RAG é um dataset de benchmark para testar o desempenho de sistemas de geração aumentada por recuperação (RAG) ao responder perguntas que exigem combinar evidências de vários documentos. Ele contém 2.556 consultas, e as evidências que dão suporte a cada consulta estão distribuídas por 2 a 4 documentos.
- MultiHop-RAG é gratuito? Qual é a licença?
- MultiHop-RAG não declara licença. O código é público, mas sem licença você não tem permissão explícita para reutilizá-lo; fale com o autor antes de depender dele.
- MultiHop-RAG ainda é mantido?
- Atualizado nos últimos 6 meses. O último commit de MultiHop-RAG foi em 16 de set. de 2026.
- Para que posso usar MultiHop-RAG?
- Avaliar a qualidade da recuperação de modelos de embedding em perguntas que envolvem vários documentos Testar se um LLM consegue raciocinar com base em várias fontes recuperadas Comparar pipelines de RAG que usam filtragem por metadados ou reranking
- Como instalar MultiHop-RAG?
- Instale a dependência llama-index: pip install llama-index==0.9.40 Execute o exemplo simples de recuperação: python simple_retrieval.py --retriever BAAI/llm-embedder Execute o exemplo de QA com llama: python qa_llama.py
- Onde consigo MultiHop-RAG?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/yixuantt/MultiHop-RAG
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Suíte de benchmark e toolkit de avaliação que pontua modelos generativos de texto para vídeo e imagem para vídeo em diversas dimensões de qualidade e semântica.
Framework unificado para executar avaliações few-shot de modelos de linguagem em dezenas de benchmarks acadêmicos padrão.
Uma plataforma open source completa para avaliar LLMs em mais de 100 datasets, com suporte a diversos provedores de modelos e backends de inferência.
Um harness de avaliação para testar LLMs como agentes autônomos, com 300 tarefas verificadas por humanos e avaliadas por conclusão, segurança e robustez.
Framework Python para criar benchmarks entre ambientes e avaliar agentes multimodais com LLMs em ambientes em memória, Docker, VMs e máquinas físicas.