Открытая векторная база данных для AI-приложений: хранит документы и векторы для семантического, гибридного и полнотекстового поиска.
29,5 тыс.2,6 тыс.RustApache-2.0Обновлён позавчера
NVIDIA/NeMo-Retriever
Масштабируемый конвейер извлекает из документов текст, таблицы, диаграммы и изображения в структурированный JSON с помощью микросервисов и моделей NVIDIA NIM для приложений RAG.
- Звёзды
- 2,988
- Форки
- 357
- Открытые issues
- 258
- Последний коммит
- позавчера
Что это?
NeMo Retriever Library — это созданный NVIDIA фреймворк для извлечения содержимого и метаданных из документов. Он разбивает документы на страницы, классифицирует элементы вроде текста, таблиц, диаграмм и инфографики, а затем запускает OCR и формирует JSON по заданной схеме. После этого конвейер может вычислять эмбеддинги извлечённого содержимого и сохранять их в LanceDB, подготавливая данные для генерации с дополненной выборкой.
Конвейер можно запускать с помощью микросервисов NVIDIA NIM или различных локальных моделей. Режим небольшой Python-библиотеки поддерживает модели Hugging Face на локальных GPU или NIM, размещённые на build.nvidia.com; кроме того, в нём можно получать документы по URL с HTTP и HTTPS. Для рабочих нагрузок в production проект рассчитан на развёртывание в Kubernetes с помощью Helm chart.
В некоторых материалах о продуктах NVIDIA проект также называется NVIDIA Ingest. В ветке по умолчанию ведётся активная разработка, поэтому стабильные релизы доступны в отдельных ветках версий.
Ключевые возможности
- 01Разбивает документы на страницы и классифицирует текст, таблицы, диаграммы и инфографику.
- 02Запускает OCR, чтобы преобразовать извлечённое содержимое в JSON по заданной схеме.
- 03Вычисляет эмбеддинги извлечённого содержимого и сохраняет их в LanceDB.
- 04Поддерживает микросервисы NVIDIA NIM и различные локальные модели.
- 05Получает документы по URL с HTTP и HTTPS; лимиты запросов можно настроить.
- 06Предоставляет Helm chart для развёртывания конвейера в Kubernetes.
Сценарии использования
- Подготовка PDF с таблицами и диаграммами для чат-бота с генерацией, дополненной выборкой.
- Создание мультимодального поискового индекса по корпоративным отчётам.
- Масштабная загрузка документов в Kubernetes-кластер с GPU.
- Извлечение структурированного текста из документов в интернете для последующей обработки приложениями на базе LLM.
Быстрый старт
- 1
Следуйте инструкциям по установке из краткого руководства в подпапке nemo_retriever
- 2
Запустите пример приёма данных на Python из README (create_ingestor, extract, embed, ingest)
Что важно знать
- Ветка main по умолчанию активно разрабатывается и может опережать последний поддерживаемый релиз; для стабильного использования выберите ветку 26.08.
- Настройка библиотеки, находящейся в разработке, рассчитана на небольшие нагрузки — менее 100 PDF-файлов. Для использования в production требуется развертывание с Kubernetes и Helm.
- Размещённые модели работают на build.nvidia.com или конечных точках NIM; для них необходим ключ API NVIDIA.
- На использование дополнительного Adobe SDK для извлечения PDF распространяется отдельное лицензионное соглашение.
Темы
Частые вопросы
- Что такое NeMo-Retriever?
- Масштабируемый конвейер извлекает из документов текст, таблицы, диаграммы и изображения в структурированный JSON с помощью микросервисов и моделей NVIDIA NIM для приложений RAG. NeMo Retriever Library — это созданный NVIDIA фреймворк для извлечения содержимого и метаданных из документов. Он разбивает документы на страницы, классифицирует элементы вроде текста, таблиц, диаграмм и инфографики, а затем запускает OCR и формирует JSON по заданной схеме. После этого конвейер может вычислять эмбеддинги извлечённого содержимого и сохранять их в LanceDB, подготавливая данные для генерации с дополненной выборкой.
- NeMo-Retriever можно использовать бесплатно? Какая у него лицензия?
- NeMo-Retriever распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- NeMo-Retriever всё ещё поддерживается?
- Активно поддерживается. Последний коммит в NeMo-Retriever — 19 окт. 2026 г..
- Для чего можно использовать NeMo-Retriever?
- Подготовка PDF с таблицами и диаграммами для чат-бота с генерацией, дополненной выборкой. Создание мультимодального поискового индекса по корпоративным отчётам. Масштабная загрузка документов в Kubernetes-кластер с GPU. Извлечение структурированного текста из документов в интернете для последующей обработки приложениями на базе LLM.
- Как установить NeMo-Retriever?
- Следуйте инструкциям по установке из краткого руководства в подпапке nemo_retriever Запустите пример приёма данных на Python из README (create_ingestor, extract, embed, ingest)
- Где скачать NeMo-Retriever?
- Исходный код и инструкции по установке — на GitHub: https://github.com/NVIDIA/NeMo-Retriever
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Локальный векторный индекс и инструментарий для RAG: пересчитывает эмбеддинги по запросу и сокращает объём хранения примерно на 97%, позволяя искать личные данные на ноутбуке.
13 тыс.1,2 тыс.PythonMITОбновлён 9 часов назад
Локальный inference-сервер, который через OpenAI-совместимый API обслуживает модели эмбеддингов, reranking, OCR, извлечения данных, безопасности и LLM из одного кластера.
3,4 тыс.323PythonApache-2.0Обновлён позавчера
Milvus — распределённая векторная база данных с открытым исходным кодом для масштабного хранения эмбеддингов и поиска по ним, подходящая для AI-поиска и RAG-приложений.
46,5 тыс.4,3 тыс.GoApache-2.0Обновлён 3 часа назад
No-code RAG-сервер, который индексирует документы из папки в одной из 8 векторных баз данных и обновляет ответы при изменении файлов.
58,8 тыс.1,5 тыс.PythonMITОбновлён 5 дней назад
Платформа для самостоятельного развёртывания AI-агентов и ассистентов, которые отвечают на вопросы по вашим документам со ссылками на источники и работают с любой моделью.
18,3 тыс.2,2 тыс.PythonMITОбновлён 3 часа назад