Repolode
NVIDIA

NVIDIA/NeMo-Retriever

可扩展的文档解析流水线,借助 NVIDIA NIM 微服务将文档中的文本、表格、图表和图片提取为结构化数据,服务于 RAG 应用。

Star
2,988
Fork
357
未关闭 Issue
258
最近提交
前天

这是什么?

NeMo Retriever Library 是 NVIDIA 推出的文档内容与元数据提取框架。它将文档拆分为页面,识别文本、表格、图表和信息图等元素,并通过 OCR 将其整理为定义好的 JSON 结构。提取结果可继续计算向量嵌入并存入 LanceDB,为检索增强生成(RAG)做好数据准备。

流水线可以调用 NVIDIA NIM 微服务,也可以使用多种模型。小规模场景可通过 Python 库直接运行,支持在本地 GPU 上使用 Hugging Face 模型,或调用 build.nvidia.com 上托管的 NIM。它还能直接从 HTTP 和 HTTPS 链接抓取文档。面向生产环境时,项目提供基于 Kubernetes 和 Helm 的部署方案。

部分 NVIDIA 产品资料中也将其称为 NVIDIA Ingest。默认分支跟踪活跃开发,稳定版本维护在独立的版本分支上。

核心功能

  • 01将文档拆分为页面,并识别文本、表格、图表和信息图。
  • 02通过 OCR 将提取内容转换为定义好的 JSON 结构。
  • 03为提取内容计算向量嵌入,并存入 LanceDB。
  • 04可调用 NVIDIA NIM 微服务,也可使用多种本地模型。
  • 05支持从 HTTP 和 HTTPS 链接抓取文档,并可配置请求参数。
  • 06提供 Helm chart,便于在 Kubernetes 上部署流水线。

适用场景

  • 为检索增强生成(RAG)问答系统准备包含表格和图表的 PDF 文档。
  • 为企业报告构建多模态文档检索索引。
  • 在配备 GPU 的 Kubernetes 集群上进行大规模文档摄取。
  • 从网页文档中提取结构化文本,供下游大模型应用使用。

快速上手

  1. 1

    按照 nemo_retriever 子目录中的快速入门安装步骤操作

  2. 2

    运行 README 中的 Python 摄取示例(create_ingestor、extract、embed、ingest)

使用前须知

  • 默认的 main 分支处于活跃开发中,可能领先于最新受支持版本;稳定使用请选择 26.08 分支。
  • 开发中的库安装方式面向少于 100 个 PDF 的小规模工作负载;生产环境需要通过 Kubernetes 和 Helm 部署。
  • 托管模型运行在 build.nvidia.com 或 NIM 端点上,需要 NVIDIA API 密钥。
  • 可选的 Adobe SDK(用于 PDF 提取)受单独的许可协议约束。

标签

常见问题

NeMo-Retriever 是什么?
可扩展的文档解析流水线,借助 NVIDIA NIM 微服务将文档中的文本、表格、图表和图片提取为结构化数据,服务于 RAG 应用。 NeMo Retriever Library 是 NVIDIA 推出的文档内容与元数据提取框架。它将文档拆分为页面,识别文本、表格、图表和信息图等元素,并通过 OCR 将其整理为定义好的 JSON 结构。提取结果可继续计算向量嵌入并存入 LanceDB,为检索增强生成(RAG)做好数据准备。
NeMo-Retriever 可以免费使用吗?用的什么许可证?
NeMo-Retriever 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
NeMo-Retriever 还在维护吗?
活跃维护中。NeMo-Retriever 最近一次提交是在 2026年10月19日。
NeMo-Retriever 适合用来做什么?
为检索增强生成(RAG)问答系统准备包含表格和图表的 PDF 文档。 为企业报告构建多模态文档检索索引。 在配备 GPU 的 Kubernetes 集群上进行大规模文档摄取。 从网页文档中提取结构化文本,供下游大模型应用使用。
NeMo-Retriever 怎么安装和运行?
按照 nemo_retriever 子目录中的快速入门安装步骤操作 运行 README 中的 Python 摄取示例(create_ingestor、extract、embed、ingest)
在哪里获取 NeMo-Retriever?
源代码和安装说明在 GitHub 上:https://github.com/NVIDIA/NeMo-Retriever

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目