datajuicer/data-juicer

これは何？

主な機能

• 01テキスト、画像、音声、動画、マルチモーダルデータに対応する200種類以上のオペレーター
• 02再現性が高く共有可能なパイプラインを定義するYAMLレシピ
• 03データセット上でオペレーターを組み合わせるPython API
• 04大規模処理向けのRayベースの分割実行
• 05データセットの分析・可視化とサンプル追跡
• 06ローカル、S3、HDFSからの読み込みとエクスポート

ユースケース

• Web規模の事前学習コーパスの重複排除とフィルタリング
• LLM向けの指示チューニング用データセットや合成データセットの準備
• 抽出、チャンク分割、クリーニングによるRAGインデックスの構築
• マルチモーダルモデルの学習に向けた動画・画像データセットのキュレーション

クイックスタート

1. 1

   uvでパッケージをインストールする

   uv pip install py-data-juicer
2. 2

   設定ファイルからサンプルのパイプラインを実行する

   dj-process --config demos/process_simple/process.yaml

使う前に知っておきたいこと

• !GPUアクセラレーションや大規模なRay実行など、一部の高度な機能には追加のセットアップとハードウェアが必要です。

トピック

よくある質問

data-juicer とは？

基盤モデルの学習に向けて、テキスト・画像・音声・動画データをクリーニング、フィルタリング、重複排除、合成するための、200種類以上の組み合わせ可能なオペレーターを備えたデータ処理システム。 Data-Juicerは、大規模言語モデルやその他の基盤モデル向けに、学習データや検索用データを準備するデータ処理フレームワークです。クリーニング、フィルタリング、重複排除、合成データ生成、プロファイリングなどを行うモジュール式のオペレーターを提供し、テキスト、画像、音声、動画、マルチモーダルな入力に対応します。

data-juicer は無料で使えますか？ライセンスは？

data-juicer は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

data-juicer は今もメンテナンスされていますか？

活発にメンテナンス中。data-juicer の最終コミットは 2026年10月21日 です。

data-juicer は何に使えますか？

Web規模の事前学習コーパスの重複排除とフィルタリング LLM向けの指示チューニング用データセットや合成データセットの準備 抽出、チャンク分割、クリーニングによるRAGインデックスの構築 マルチモーダルモデルの学習に向けた動画・画像データセットのキュレーション

data-juicer のインストール方法は？

uvでパッケージをインストールする: uv pip install py-data-juicer 設定ファイルからサンプルのパイプラインを実行する: dj-process --config demos/process_simple/process.yaml

data-juicer はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/datajuicer/data-juicer