NVIDIA-NeMo/Curator

これは何？

主な機能

• 01データの読み込み、フィルタリング、重複排除、分類、書き出しを行うモジュール式のステージ。
• 02RAPIDSを利用した、GPU高速化対応の重複排除と分類。
• 03同じパイプラインをノートPCでも複数ノードのRayクラスターでも実行可能。
• 04テキスト、画像、動画、音声に対応するモダリティ別プラグイン。
• 05合成データのワークフロー向けに、OpenAI互換の推論サーバーを搭載。

ユースケース

• LLMの事前学習前に、Webテキストの重複を排除し、品質に基づいてフィルタリングする。
• 学習データセットに使う大規模な画像コレクションをフィルタリングし、埋め込みを生成する。
• シーン検出と動きのフィルタリングを使って動画クリップを準備する。
• 音声モデルの学習に向けて、音声データを文字起こしし、フィルタリングする。

クイックスタート

1. 1

   uv パッケージマネージャーをインストールします（README のインストールスクリプトは sh にパイプされているため、ここではコマンドを記載していません）

2. 2

   仮想環境を作成し、CPU テキスト用の追加パッケージをインストールします

   uv venv && source .venv/bin/activate uv pip install "nemo-curator[text_cpu]"
3. 3

   バージョンを表示して、インストールを確認します

   python -c "import nemo_curator; print(nemo_curator.__version__)"

使う前に知っておきたいこと

• !GPU テキスト処理には、Linux x86_64 上の CUDA 12 と約 16 GB の GPU メモリが必要です。
• !CUDA 12 テキスト用の追加パッケージは通常の pip install ではサポートされておらず、専用の uv オーバーライドファイルが必要です。
• !音声および動画のワークフローには FFmpeg が必要です。カスタムコンテナのビルドで対応するのが最適です。
• !NVIDIA は 26.09 以降、NGC で新しい NeMo Curator コンテナイメージを公開しなくなります。

トピック

よくある質問

Curator とは？

AI学習用の大規模なテキスト、画像、動画、音声データセットを、フィルタリング、重複排除、変換する再現性の高いパイプラインを構築するGPU高速化ツールキット。 NeMo Curatorは、AIモデルの学習に使う大規模なデータセットを準備するためのPythonツールキットです。MLエンジニアやデータチームは、データの読み込み、フィルタリング、重複排除、分類、書き出しを行うステージを組み合わせてパイプラインを構築できます。テキスト、画像、動画、音声には、それぞれ専用の構成要素が用意されています。

Curator は無料で使えますか？ライセンスは？

Curator は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

Curator は今もメンテナンスされていますか？

活発にメンテナンス中。Curator の最終コミットは 2026年10月21日 です。

Curator は何に使えますか？

LLMの事前学習前に、Webテキストの重複を排除し、品質に基づいてフィルタリングする。 学習データセットに使う大規模な画像コレクションをフィルタリングし、埋め込みを生成する。 シーン検出と動きのフィルタリングを使って動画クリップを準備する。 音声モデルの学習に向けて、音声データを文字起こしし、フィルタリングする。

Curator のインストール方法は？

uv パッケージマネージャーをインストールします（README のインストールスクリプトは sh にパイプされているため、ここではコマンドを記載していません） 仮想環境を作成し、CPU テキスト用の追加パッケージをインストールします: uv venv && source .venv/bin/activate uv pip install "nemo-curator[text_cpu]" バージョンを表示して、インストールを確認します: python -c "import nemo_curator; print(nemo_curator.__version__)"

Curator はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/NVIDIA-NeMo/Curator