Framework personalizable para evaluar LLM, VLM y modelos AIGC con benchmarks, además de pruebas de estrés del rendimiento de inferencia y paneles de resultados.
3,6 mil532PythonApache-2.0Actualizado hace 10 horas
yixuantt/MultiHop-RAG
Dataset de QA con 2.556 consultas de varios pasos para evaluar la generación aumentada por recuperación con varios documentos y metadatos.
- Estrellas
- 476
- Forks
- 46
- Issues abiertos
- 12
- Último commit
- el mes pasado
¿Qué es?
MultiHop-RAG es un dataset de referencia para probar qué tan bien manejan los sistemas de generación aumentada por recuperación (RAG) las preguntas que requieren combinar evidencia de varios documentos. Contiene 2.556 consultas, y la evidencia que respalda cada una está distribuida en entre 2 y 4 documentos.
Las consultas también hacen referencia a metadatos de los documentos, por lo que el sistema debe usar esa información durante la recuperación y el razonamiento, lo que refleja las situaciones con fuentes diversas habituales en las aplicaciones reales de RAG. El proyecto acompaña a un artículo de COLM 2024 y se distribuye tanto en archivos dentro del repositorio como mediante un dataloader de Hugging Face.
El repositorio incluye scripts de ejemplo para la recuperación con llama-index (con reranking opcional mediante BAAI/llm-embedder) y para responder preguntas con Llama, además de scripts de evaluación de los resultados de recuperación y QA. También incluye, como referencia, parte del pipeline de construcción del dataset.
Funciones clave
- 01Incluye 2.556 consultas que requieren evidencia de entre 2 y 4 documentos
- 02Las consultas incorporan metadatos de documentos para reflejar situaciones reales de RAG
- 03Incluye scripts de ejemplo para la recuperación, con reranking opcional
- 04Incluye un script de ejemplo de QA con Llama
- 05Incluye scripts para evaluar los resultados de recuperación y QA
Casos de uso
- Evaluar la calidad de recuperación de modelos de embeddings en preguntas que abarcan varios documentos
- Probar si un LLM puede razonar a partir de varias fuentes recuperadas
- Comparar pipelines de RAG que usan filtros de metadatos o reranking
Inicio rápido
- 1
Instala la dependencia llama-index
pip install llama-index==0.9.40 - 2
Ejecuta el ejemplo de recuperación simple
python simple_retrieval.py --retriever BAAI/llm-embedder - 3
Ejecuta el ejemplo de QA con llama
python qa_llama.py
Antes de usarlo
- Este es un proyecto de conjunto de datos, no una herramienta de software independiente, y el código de construcción está desordenado y se proporciona solo como referencia.
- Los metadatos del repositorio no indican ninguna licencia de software; el README menciona la licencia de datos ODC-BY.
En colecciones
Temas
Preguntas frecuentes
- ¿Qué es MultiHop-RAG?
- Dataset de QA con 2.556 consultas de varios pasos para evaluar la generación aumentada por recuperación con varios documentos y metadatos. MultiHop-RAG es un dataset de referencia para probar qué tan bien manejan los sistemas de generación aumentada por recuperación (RAG) las preguntas que requieren combinar evidencia de varios documentos. Contiene 2.556 consultas, y la evidencia que respalda cada una está distribuida en entre 2 y 4 documentos.
- ¿MultiHop-RAG es gratuito? ¿Qué licencia tiene?
- MultiHop-RAG no declara ninguna licencia. Su código es público, pero sin licencia no tienes permiso explícito para reutilizarlo; consulta al autor antes de depender de él.
- ¿MultiHop-RAG sigue mantenido?
- Actualizado en los últimos 6 meses. El último commit de MultiHop-RAG fue el 16 sept 2026.
- ¿Para qué puedo usar MultiHop-RAG?
- Evaluar la calidad de recuperación de modelos de embeddings en preguntas que abarcan varios documentos Probar si un LLM puede razonar a partir de varias fuentes recuperadas Comparar pipelines de RAG que usan filtros de metadatos o reranking
- ¿Cómo se instala MultiHop-RAG?
- Instala la dependencia llama-index: pip install llama-index==0.9.40 Ejecuta el ejemplo de recuperación simple: python simple_retrieval.py --retriever BAAI/llm-embedder Ejecuta el ejemplo de QA con llama: python qa_llama.py
- ¿Dónde consigo MultiHop-RAG?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/yixuantt/MultiHop-RAG
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Suite de benchmarks y herramientas de evaluación que puntúa modelos generativos de texto a video e imagen a video en diversas dimensiones de calidad y semántica.
1,8 mil135PythonApache-2.0Actualizado hace 2 meses
Framework unificado para evaluar modelos de lenguaje con pocos ejemplos en decenas de benchmarks académicos estándar.
14,3 mil3,7 milPythonMITActualizado el mes pasado
Plataforma open source integral para evaluar modelos de lenguaje grandes en más de 100 datasets y con numerosos proveedores de modelos y backends de inferencia.
7,5 mil889PythonApache-2.0Actualizado ayer
Un entorno de evaluación para probar LLM como agentes autónomos, con 300 tareas verificadas por personas y calificadas según su finalización, seguridad y robustez.
77976PythonMITActualizado hace 12 horas
Framework de Python para crear benchmarks entre entornos que evalúan agentes multimodales con LLM en entornos en memoria, Docker, VM y máquinas físicas.
43064PythonSin licenciaActualizado hace 3 días