面向 AI 应用的开源数据基础设施,用于存储文档与向量并支持语义、混合及全文检索。
NVIDIA/NeMo-Retriever
可扩展的文档解析流水线,借助 NVIDIA NIM 微服务将文档中的文本、表格、图表和图片提取为结构化数据,服务于 RAG 应用。
- Star
- 2,988
- Fork
- 357
- 未关闭 Issue
- 258
- 最近提交
- 前天
这是什么?
NeMo Retriever Library 是 NVIDIA 推出的文档内容与元数据提取框架。它将文档拆分为页面,识别文本、表格、图表和信息图等元素,并通过 OCR 将其整理为定义好的 JSON 结构。提取结果可继续计算向量嵌入并存入 LanceDB,为检索增强生成(RAG)做好数据准备。
流水线可以调用 NVIDIA NIM 微服务,也可以使用多种模型。小规模场景可通过 Python 库直接运行,支持在本地 GPU 上使用 Hugging Face 模型,或调用 build.nvidia.com 上托管的 NIM。它还能直接从 HTTP 和 HTTPS 链接抓取文档。面向生产环境时,项目提供基于 Kubernetes 和 Helm 的部署方案。
部分 NVIDIA 产品资料中也将其称为 NVIDIA Ingest。默认分支跟踪活跃开发,稳定版本维护在独立的版本分支上。
核心功能
- 01将文档拆分为页面,并识别文本、表格、图表和信息图。
- 02通过 OCR 将提取内容转换为定义好的 JSON 结构。
- 03为提取内容计算向量嵌入,并存入 LanceDB。
- 04可调用 NVIDIA NIM 微服务,也可使用多种本地模型。
- 05支持从 HTTP 和 HTTPS 链接抓取文档,并可配置请求参数。
- 06提供 Helm chart,便于在 Kubernetes 上部署流水线。
适用场景
- 为检索增强生成(RAG)问答系统准备包含表格和图表的 PDF 文档。
- 为企业报告构建多模态文档检索索引。
- 在配备 GPU 的 Kubernetes 集群上进行大规模文档摄取。
- 从网页文档中提取结构化文本,供下游大模型应用使用。
快速上手
- 1
按照 nemo_retriever 子目录中的快速入门安装步骤操作
- 2
运行 README 中的 Python 摄取示例(create_ingestor、extract、embed、ingest)
使用前须知
- 默认的 main 分支处于活跃开发中,可能领先于最新受支持版本;稳定使用请选择 26.08 分支。
- 开发中的库安装方式面向少于 100 个 PDF 的小规模工作负载;生产环境需要通过 Kubernetes 和 Helm 部署。
- 托管模型运行在 build.nvidia.com 或 NIM 端点上,需要 NVIDIA API 密钥。
- 可选的 Adobe SDK(用于 PDF 提取)受单独的许可协议约束。
标签
常见问题
- NeMo-Retriever 是什么?
- 可扩展的文档解析流水线,借助 NVIDIA NIM 微服务将文档中的文本、表格、图表和图片提取为结构化数据,服务于 RAG 应用。 NeMo Retriever Library 是 NVIDIA 推出的文档内容与元数据提取框架。它将文档拆分为页面,识别文本、表格、图表和信息图等元素,并通过 OCR 将其整理为定义好的 JSON 结构。提取结果可继续计算向量嵌入并存入 LanceDB,为检索增强生成(RAG)做好数据准备。
- NeMo-Retriever 可以免费使用吗?用的什么许可证?
- NeMo-Retriever 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
- NeMo-Retriever 还在维护吗?
- 活跃维护中。NeMo-Retriever 最近一次提交是在 2026年10月19日。
- NeMo-Retriever 适合用来做什么?
- 为检索增强生成(RAG)问答系统准备包含表格和图表的 PDF 文档。 为企业报告构建多模态文档检索索引。 在配备 GPU 的 Kubernetes 集群上进行大规模文档摄取。 从网页文档中提取结构化文本,供下游大模型应用使用。
- NeMo-Retriever 怎么安装和运行?
- 按照 nemo_retriever 子目录中的快速入门安装步骤操作 运行 README 中的 Python 摄取示例(create_ingestor、extract、embed、ingest)
- 在哪里获取 NeMo-Retriever?
- 源代码和安装说明在 GitHub 上:https://github.com/NVIDIA/NeMo-Retriever
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
本地向量索引与 RAG 工具,通过按需重算向量将存储占用降低约 97%,可在笔记本上检索个人数据。
自托管推理服务器,通过兼容 OpenAI 的 API 在一个集群中提供嵌入、重排序、OCR、抽取和大模型等多种模型。
Milvus 是一款开源分布式向量数据库,用于大规模存储和检索向量嵌入,常用于 AI 搜索与 RAG 应用。
无需编码的 RAG 服务,将文档目录索引到 8 种向量数据库中,文件变更后答案实时同步。
可自托管的 AI 智能体平台,基于你自己的文档回答问题,并附带引用来源。