Repolode
投稿する
NVIDIA-NeMo

NVIDIA-NeMo/DataDesigner

NVIDIAが提供するPythonフレームワーク。サンプラー、LLM、画像モデル、バリデーターを使い、ゼロから、またはシードデータを基に合成データセットを生成します。

GitHub で見る公式サイト
スター
2,401
フォーク
245
未解決の Issue
67
最終コミット
20 時間前

これは何？

NeMo Data Designerは、言語モデルへの単純なプロンプトだけにとどまらない合成データセットを構築するためのフレームワークです。列の値は統計分布からサンプリングしたり、LLMや画像モデルで生成したり、既存のシードデータセットから取得したりできます。また、フィールド間に依存関係を設定し、相互の関係性を一貫して保つこともできます。

生成結果は、PythonやSQLのバリデーター、カスタムバリデーター、LLM judgeで検証できます。画像、音声、動画を含むマルチモーダルなコンテキストに対応し、ローカルまたはリモートのMCPサーバーに生成処理を接続して、やり取りのトレースを記録することもできます。大規模なジョブを実行する前にサンプルレコードをプレビューでき、長時間にわたる生成処理の再開や監視にも対応しています。

モデルはNVIDIA Build、OpenAI、OpenRouterなどのプロバイダー経由で設定でき、プロバイダーとモデルのセットアップにはCLIを利用します。別リポジトリで管理されているプラグインパッケージにより、GitHubのシードデータリーダーや、検索拡張型の質問応答データ生成ツールキットなどの機能を追加できます。Python 3.10〜3.14に対応しています。

主な機能

  • 01サンプラー、LLM、画像モデル、シードデータセットを使って、テキスト、構造化データ、画像を生成します。
  • 02フィールド間の依存関係を考慮した生成により、相互の関係性を制御します。
  • 03Python、SQL、カスタムバリデーター、LLM judgeで生成結果を検証します。
  • 04生成処理をローカルまたはリモートのMCPサーバーに接続し、トレースを記録します。
  • 05プラグインを使って、追加のデータソースや処理ステップに対応します。

ユースケース

  • テストや学習向けに、属性を制御した合成のカスタマーレビューや商品カタログを作成する。
  • 検索システムの学習用に、ドキュメントから質問と回答のペアを生成する。
  • 検証済みのツール使用データセットやエージェントの対話データセットを作成する。

クイックスタート

  1. 1

    PyPIからData Designerをインストールする

    pip install data-designer
  2. 2

    デフォルトのモデルプロバイダーのAPIキーを設定する

    export NVIDIA_API_KEY="your-api-key-here"
  3. 3

    READMEのPythonサンプルを実行して、生成されたデータをプレビューする

使う前に知っておきたいこと

  • データの生成には、NVIDIA Build、OpenAI、OpenRouterなどのモデルプロバイダーのAPIキーが必要です。
  • テレメトリーはデフォルトで収集されます。NEMO_TELEMETRY_ENABLED=falseに設定すると無効にできます。
  • NVIDIA Buildは評価とテストを目的としており、本番環境での使用は想定されていません。

収録されている特集

オープンソースの AI エージェント・フレームワークとアプリMCP サーバー

トピック

#synthetic-data#data-generation#llm#multimodal#data-augmentation#tool-use#agentic-ai#mcp#nemo#nvidia

よくある質問

DataDesigner とは？
NVIDIAが提供するPythonフレームワーク。サンプラー、LLM、画像モデル、バリデーターを使い、ゼロから、またはシードデータを基に合成データセットを生成します。 NeMo Data Designerは、言語モデルへの単純なプロンプトだけにとどまらない合成データセットを構築するためのフレームワークです。列の値は統計分布からサンプリングしたり、LLMや画像モデルで生成したり、既存のシードデータセットから取得したりできます。また、フィールド間に依存関係を設定し、相互の関係性を一貫して保つこともできます。
DataDesigner は無料で使えますか？ライセンスは？
DataDesigner は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
DataDesigner は今もメンテナンスされていますか？
活発にメンテナンス中。DataDesigner の最終コミットは 2026年11月7日 です。
DataDesigner は何に使えますか？
テストや学習向けに、属性を制御した合成のカスタマーレビューや商品カタログを作成する。 検索システムの学習用に、ドキュメントから質問と回答のペアを生成する。 検証済みのツール使用データセットやエージェントの対話データセットを作成する。
DataDesigner のインストール方法は？
PyPIからData Designerをインストールする: pip install data-designer デフォルトのモデルプロバイダーのAPIキーを設定する: export NVIDIA_API_KEY="your-api-key-here" READMEのPythonサンプルを実行して、生成されたデータをプレビューする
DataDesigner はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/NVIDIA-NeMo/DataDesigner

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト