Настраиваемый фреймворк для оценки LLM, VLM и AIGC-моделей на бенчмарках, нагрузочного тестирования производительности инференса и просмотра результатов на дашборде.
yixuantt/MultiHop-RAG
Набор данных для QA: 2 556 многопереходных запросов для оценки RAG по нескольким документам с метаданными.
- Звёзды
- 476
- Форки
- 46
- Открытые issues
- 12
- Последний коммит
- в прошлом месяце
Что это?
MultiHop-RAG — это бенчмарк для проверки того, насколько хорошо системы retrieval-augmented generation (RAG) справляются с вопросами, для ответа на которые нужно объединить свидетельства из нескольких документов. В набор входят 2 556 запросов, а подтверждающие свидетельства для каждого из них распределены по 2–4 документам.
В запросах также используются метаданные документов, поэтому система должна учитывать эту информацию при поиске и рассуждении. Это отражает типичные для реальных RAG-приложений ситуации, когда данные поступают из разных источников. Проект сопровождает статья для COLM 2024; набор распространяется как в виде файлов в репозитории, так и через dataloader на Hugging Face.
В репозитории есть примеры скриптов для поиска с помощью llama-index (с опциональным reranking на базе BAAI/llm-embedder) и для ответов на вопросы с помощью Llama, а также скрипты оценки результатов поиска и QA. Кроме того, для справки включена часть конвейера подготовки набора данных.
Ключевые возможности
- 01Содержит 2 556 запросов, для ответа на которые нужны свидетельства из 2–4 документов
- 02В запросах используются метаданные документов, отражающие реальные сценарии RAG
- 03Включает примеры скриптов для поиска с опциональным reranking
- 04Предоставляет пример скрипта QA с использованием Llama
- 05Содержит скрипты для оценки результатов поиска и QA
Сценарии использования
- Сравнение качества поиска embedding-моделей на вопросах по нескольким документам
- Проверка способности LLM рассуждать на основе нескольких найденных источников
- Сравнение RAG-конвейеров с фильтрацией по метаданным или reranking
Быстрый старт
- 1
Установите зависимость llama-index
pip install llama-index==0.9.40 - 2
Запустите простой пример поиска
python simple_retrieval.py --retriever BAAI/llm-embedder - 3
Запустите пример QA с llama
python qa_llama.py
Что важно знать
- Это проект набора данных, а не самостоятельный программный инструмент; код его создания не упорядочен и предоставлен только для справки.
- В метаданных репозитория не указана лицензия на программное обеспечение; в README упоминается лицензия на данные ODC-BY.
В подборках
Темы
Частые вопросы
- Что такое MultiHop-RAG?
- Набор данных для QA: 2 556 многопереходных запросов для оценки RAG по нескольким документам с метаданными. MultiHop-RAG — это бенчмарк для проверки того, насколько хорошо системы retrieval-augmented generation (RAG) справляются с вопросами, для ответа на которые нужно объединить свидетельства из нескольких документов. В набор входят 2 556 запросов, а подтверждающие свидетельства для каждого из них распределены по 2–4 документам.
- MultiHop-RAG можно использовать бесплатно? Какая у него лицензия?
- У MultiHop-RAG не указана лицензия. Код открыт, но без лицензии нет явного разрешения на его использование — уточните у автора, прежде чем на него полагаться.
- MultiHop-RAG всё ещё поддерживается?
- Обновлялся за последние 6 месяцев. Последний коммит в MultiHop-RAG — 16 сент. 2026 г..
- Для чего можно использовать MultiHop-RAG?
- Сравнение качества поиска embedding-моделей на вопросах по нескольким документам Проверка способности LLM рассуждать на основе нескольких найденных источников Сравнение RAG-конвейеров с фильтрацией по метаданным или reranking
- Как установить MultiHop-RAG?
- Установите зависимость llama-index: pip install llama-index==0.9.40 Запустите простой пример поиска: python simple_retrieval.py --retriever BAAI/llm-embedder Запустите пример QA с llama: python qa_llama.py
- Где скачать MultiHop-RAG?
- Исходный код и инструкции по установке — на GitHub: https://github.com/yixuantt/MultiHop-RAG
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Набор бенчмарков и инструментов оценки текстовых и графических моделей генерации видео по множеству аспектов качества и семантики.
Единый фреймворк для few-shot-оценки языковых моделей на десятках стандартных академических бенчмарков.
Платформа с открытым исходным кодом для комплексной оценки больших языковых моделей на 100+ наборах данных с использованием множества провайдеров моделей и бэкендов инференса.
Набор инструментов для оценки LLM в роли автономных агентов: 300 проверенных людьми задач с оценкой выполнения, безопасности и устойчивости.
Python-фреймворк для создания кросс-средовых бенчмарков, оценивающих мультимодальных LLM-агентов в in-memory-средах, Docker, виртуальных машинах и на физических машинах.