Repolode
yixuantt

yixuantt/MultiHop-RAG

Набор данных для QA: 2 556 многопереходных запросов для оценки RAG по нескольким документам с метаданными.

Звёзды
476
Форки
46
Открытые issues
12
Последний коммит
в прошлом месяце

Что это?

MultiHop-RAG — это бенчмарк для проверки того, насколько хорошо системы retrieval-augmented generation (RAG) справляются с вопросами, для ответа на которые нужно объединить свидетельства из нескольких документов. В набор входят 2 556 запросов, а подтверждающие свидетельства для каждого из них распределены по 2–4 документам.

В запросах также используются метаданные документов, поэтому система должна учитывать эту информацию при поиске и рассуждении. Это отражает типичные для реальных RAG-приложений ситуации, когда данные поступают из разных источников. Проект сопровождает статья для COLM 2024; набор распространяется как в виде файлов в репозитории, так и через dataloader на Hugging Face.

В репозитории есть примеры скриптов для поиска с помощью llama-index (с опциональным reranking на базе BAAI/llm-embedder) и для ответов на вопросы с помощью Llama, а также скрипты оценки результатов поиска и QA. Кроме того, для справки включена часть конвейера подготовки набора данных.

Ключевые возможности

  • 01Содержит 2 556 запросов, для ответа на которые нужны свидетельства из 2–4 документов
  • 02В запросах используются метаданные документов, отражающие реальные сценарии RAG
  • 03Включает примеры скриптов для поиска с опциональным reranking
  • 04Предоставляет пример скрипта QA с использованием Llama
  • 05Содержит скрипты для оценки результатов поиска и QA

Сценарии использования

  • Сравнение качества поиска embedding-моделей на вопросах по нескольким документам
  • Проверка способности LLM рассуждать на основе нескольких найденных источников
  • Сравнение RAG-конвейеров с фильтрацией по метаданным или reranking

Быстрый старт

  1. 1

    Установите зависимость llama-index

    pip install llama-index==0.9.40
  2. 2

    Запустите простой пример поиска

    python simple_retrieval.py --retriever BAAI/llm-embedder
  3. 3

    Запустите пример QA с llama

    python qa_llama.py

Что важно знать

  • Это проект набора данных, а не самостоятельный программный инструмент; код его создания не упорядочен и предоставлен только для справки.
  • В метаданных репозитория не указана лицензия на программное обеспечение; в README упоминается лицензия на данные ODC-BY.

В подборках

Темы

Частые вопросы

Что такое MultiHop-RAG?
Набор данных для QA: 2 556 многопереходных запросов для оценки RAG по нескольким документам с метаданными. MultiHop-RAG — это бенчмарк для проверки того, насколько хорошо системы retrieval-augmented generation (RAG) справляются с вопросами, для ответа на которые нужно объединить свидетельства из нескольких документов. В набор входят 2 556 запросов, а подтверждающие свидетельства для каждого из них распределены по 2–4 документам.
MultiHop-RAG можно использовать бесплатно? Какая у него лицензия?
У MultiHop-RAG не указана лицензия. Код открыт, но без лицензии нет явного разрешения на его использование — уточните у автора, прежде чем на него полагаться.
MultiHop-RAG всё ещё поддерживается?
Обновлялся за последние 6 месяцев. Последний коммит в MultiHop-RAG — 16 сент. 2026 г..
Для чего можно использовать MultiHop-RAG?
Сравнение качества поиска embedding-моделей на вопросах по нескольким документам Проверка способности LLM рассуждать на основе нескольких найденных источников Сравнение RAG-конвейеров с фильтрацией по метаданным или reranking
Как установить MultiHop-RAG?
Установите зависимость llama-index: pip install llama-index==0.9.40 Запустите простой пример поиска: python simple_retrieval.py --retriever BAAI/llm-embedder Запустите пример QA с llama: python qa_llama.py
Где скачать MultiHop-RAG?
Исходный код и инструкции по установке — на GitHub: https://github.com/yixuantt/MultiHop-RAG

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

Платформа с открытым исходным кодом для комплексной оценки больших языковых моделей на 100+ наборах данных с использованием множества провайдеров моделей и бэкендов инференса.

7,5 тыс.889PythonApache-2.0Обновлён вчера