Repolode
Enviar
NVIDIA

NVIDIA/NeMo-Retriever

Pipeline escalável que extrai texto, tabelas, gráficos e imagens de documentos em JSON estruturado usando microserviços e modelos NVIDIA NIM para aplicações de RAG.

Ver no GitHubSite
Estrelas
2,988
Forks
357
Issues abertas
258
Último commit
há 22 horas

O que é?

A NeMo Retriever Library é um framework da NVIDIA para extrair conteúdo e metadados de documentos. Ela divide os documentos em páginas, classifica elementos como texto, tabelas, gráficos e infográficos e executa OCR para gerar um schema JSON definido. Em seguida, o pipeline pode calcular embeddings do conteúdo extraído e armazená-los no LanceDB, preparando os dados para geração aumentada por recuperação.

O pipeline pode ser executado com microserviços NVIDIA NIM ou diversos modelos locais. O modo de biblioteca Python para projetos de menor escala funciona com modelos do Hugging Face em GPUs locais ou com NIMs hospedados em build.nvidia.com, além de poder buscar documentos em URLs HTTP e HTTPS. Para cargas de trabalho de produção, o projeto foi desenvolvido para implantação no Kubernetes com um Helm chart.

O projeto também é chamado de NVIDIA Ingest em alguns materiais de produtos da NVIDIA. A branch padrão acompanha o desenvolvimento ativo, então as versões estáveis são mantidas em branches separadas por versão.

Recursos principais

  • 01Divide documentos em páginas e classifica texto, tabelas, gráficos e infográficos.
  • 02Executa OCR para converter o conteúdo extraído em um schema JSON definido.
  • 03Calcula embeddings do conteúdo extraído e os armazena no LanceDB.
  • 04Pode usar microserviços NVIDIA NIM ou diversos modelos locais.
  • 05Busca documentos em URLs HTTP e HTTPS com limites de requisição configuráveis.
  • 06Oferece um Helm chart para implantar o pipeline no Kubernetes.

Casos de uso

  • Preparar PDFs com tabelas e gráficos para um chatbot de geração aumentada por recuperação.
  • Criar um índice de busca multimodal de documentos baseado em relatórios corporativos.
  • Executar a ingestão de documentos em grande escala em um cluster Kubernetes com GPUs.
  • Extrair texto estruturado de documentos hospedados na web para aplicações LLM posteriores.

Início rápido

  1. 1

    Siga as etapas de instalação do guia de início rápido na subpasta nemo_retriever

  2. 2

    Execute o exemplo de ingestão em Python do README (create_ingestor, extract, embed, ingest)

Antes de usar

  • A branch main padrão está em desenvolvimento ativo e pode estar à frente da versão compatível mais recente; para uso estável, use a branch 26.08.
  • A configuração da biblioteca em desenvolvimento é voltada para cargas de trabalho pequenas, com menos de 100 PDFs; o uso em produção exige implantação com Kubernetes e Helm.
  • Os modelos hospedados são executados em build.nvidia.com ou em endpoints NIM e precisam de uma chave de API da NVIDIA.
  • O SDK opcional da Adobe para extração de PDFs está sujeito a um contrato de licença separado.

Tópicos

#document-extraction#ocr#rag#embeddings#pdf-parsing#nvidia-nim#kubernetes#vector-database

Perguntas frequentes

O que é NeMo-Retriever?
Pipeline escalável que extrai texto, tabelas, gráficos e imagens de documentos em JSON estruturado usando microserviços e modelos NVIDIA NIM para aplicações de RAG. A NeMo Retriever Library é um framework da NVIDIA para extrair conteúdo e metadados de documentos. Ela divide os documentos em páginas, classifica elementos como texto, tabelas, gráficos e infográficos e executa OCR para gerar um schema JSON definido. Em seguida, o pipeline pode calcular embeddings do conteúdo extraído e armazená-los no LanceDB, preparando os dados para geração aumentada por recuperação.
NeMo-Retriever é gratuito? Qual é a licença?
NeMo-Retriever é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
NeMo-Retriever ainda é mantido?
Manutenção ativa. O último commit de NeMo-Retriever foi em 19 de out. de 2026.
Para que posso usar NeMo-Retriever?
Preparar PDFs com tabelas e gráficos para um chatbot de geração aumentada por recuperação. Criar um índice de busca multimodal de documentos baseado em relatórios corporativos. Executar a ingestão de documentos em grande escala em um cluster Kubernetes com GPUs. Extrair texto estruturado de documentos hospedados na web para aplicações LLM posteriores.
Como instalar NeMo-Retriever?
Siga as etapas de instalação do guia de início rápido na subpasta nemo_retriever Execute o exemplo de ingestão em Python do README (create_ingestor, extract, embed, ingest)
Onde consigo NeMo-Retriever?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/NVIDIA/NeMo-Retriever

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados