AIアプリ向けのオープンソース埋め込みデータベース。文書とベクトルを保存し、セマンティック検索、ハイブリッド検索、全文検索を実現します。
NVIDIA/NeMo-Retriever
NVIDIA NIMのマイクロサービスとモデルを使い、ドキュメントからテキスト、表、グラフ、画像を抽出して構造化JSONに変換する、RAGアプリケーション向けのスケーラブルなパイプラインです。
- スター
- 2,988
- フォーク
- 357
- 未解決の Issue
- 258
- 最終コミット
- 一昨日
これは何?
NeMo Retriever Libraryは、NVIDIAが提供するドキュメントのコンテンツとメタデータを抽出するフレームワークです。ドキュメントをページ単位に分割し、テキスト、表、グラフ、インフォグラフィックなどの要素を分類したうえで、OCRを実行して所定のJSONスキーマに変換します。続けて、抽出したコンテンツの埋め込みを計算し、LanceDBに保存することで、検索拡張生成に使えるデータを準備できます。
パイプラインはNVIDIA NIMマイクロサービス、または複数のローカルモデルを使って実行できます。小規模向けのPythonライブラリモードでは、ローカルGPU上のHugging Faceモデルや、build.nvidia.comでホストされているNIMを利用でき、HTTPおよびHTTPSのURLからドキュメントを取得することもできます。本番環境での利用を想定しており、Helm chartを使ってKubernetesにデプロイできます。
NVIDIAの製品資料では、このプロジェクトはNVIDIA Ingestとも呼ばれています。デフォルトブランチでは開発が進行中のため、安定版リリースは別のバージョンブランチで管理されています。
主な機能
- 01ドキュメントをページ単位に分割し、テキスト、表、グラフ、インフォグラフィックを分類します。
- 02OCRを実行し、抽出したコンテンツを所定のJSONスキーマに変換します。
- 03抽出したコンテンツの埋め込みを計算し、LanceDBに保存します。
- 04NVIDIA NIMマイクロサービス、または複数のローカルモデルを利用できます。
- 05設定可能なリクエスト上限を適用しながら、HTTPおよびHTTPSのURLからドキュメントを取得します。
- 06KubernetesにパイプラインをデプロイするためのHelm chartを提供します。
ユースケース
- 表やグラフを含むPDFを、検索拡張生成チャットボット向けに準備する。
- 企業レポートを対象としたマルチモーダルなドキュメント検索インデックスを構築する。
- GPUを搭載したKubernetesクラスターで、大規模なドキュメント取り込みを実行する。
- Web上でホストされているドキュメントから構造化テキストを抽出し、後続のLLMアプリケーションで利用する。
クイックスタート
- 1
nemo_retriever サブフォルダーにあるクイックスタートのインストール手順に従ってください
- 2
README の Python 取り込み例(create_ingestor、extract、embed、ingest)を実行してください
使う前に知っておきたいこと
- デフォルトの main ブランチは活発に開発されており、最新のサポート対象リリースより先行している場合があります。安定した利用には 26.08 ブランチを使用してください。
- 開発中のライブラリのセットアップは、100 件未満の PDF を扱う小規模なワークロードを想定しています。本番環境での利用には Kubernetes と Helm によるデプロイが必要です。
- ホスト型モデルは build.nvidia.com または NIM エンドポイントで実行されます。利用には NVIDIA API キーが必要です。
- PDF 抽出用のオプションの Adobe SDK には、別途ライセンス契約が適用されます。
トピック
よくある質問
- NeMo-Retriever とは?
- NVIDIA NIMのマイクロサービスとモデルを使い、ドキュメントからテキスト、表、グラフ、画像を抽出して構造化JSONに変換する、RAGアプリケーション向けのスケーラブルなパイプラインです。 NeMo Retriever Libraryは、NVIDIAが提供するドキュメントのコンテンツとメタデータを抽出するフレームワークです。ドキュメントをページ単位に分割し、テキスト、表、グラフ、インフォグラフィックなどの要素を分類したうえで、OCRを実行して所定のJSONスキーマに変換します。続けて、抽出したコンテンツの埋め込みを計算し、LanceDBに保存することで、検索拡張生成に使えるデータを準備できます。
- NeMo-Retriever は無料で使えますか?ライセンスは?
- NeMo-Retriever は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- NeMo-Retriever は今もメンテナンスされていますか?
- 活発にメンテナンス中。NeMo-Retriever の最終コミットは 2026年10月19日 です。
- NeMo-Retriever は何に使えますか?
- 表やグラフを含むPDFを、検索拡張生成チャットボット向けに準備する。 企業レポートを対象としたマルチモーダルなドキュメント検索インデックスを構築する。 GPUを搭載したKubernetesクラスターで、大規模なドキュメント取り込みを実行する。 Web上でホストされているドキュメントから構造化テキストを抽出し、後続のLLMアプリケーションで利用する。
- NeMo-Retriever のインストール方法は?
- nemo_retriever サブフォルダーにあるクイックスタートのインストール手順に従ってください README の Python 取り込み例(create_ingestor、extract、embed、ingest)を実行してください
- NeMo-Retriever はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/NVIDIA/NeMo-Retriever
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
オンデマンドで埋め込みを再計算し、ストレージを約97%削減するローカルベクトルインデックス兼RAGツールキット。ノートPC上の個人データを検索できます。
OpenAI互換APIで各種モデルを提供する、セルフホスト型推論サーバー
Milvusは、AI検索やRAGアプリケーション向けに、埋め込みを大規模に保存・検索できるオープンソースの分散型ベクトルデータベースです。
フォルダ内の文書を8種類のベクトルデータベースのいずれかにインデックス化し、ファイルの変更に応じて回答を最新に保つノーコードRAGサーバー。
自社ドキュメントをもとに、出典を示しながら任意のモデルで質問に答えるAIエージェントやアシスタントを構築できるセルフホスト型プラットフォーム。