datajuicer/data-juicer

这是什么？

核心功能

• 01覆盖文本、图像、音频、视频及多模态数据的 200 多种算子
• 02使用 YAML 配方定义可复现、可共享的处理流程
• 03提供 Python API，可在数据集上串联算子
• 04基于 Ray 的分区并行执行，适合大规模处理
• 05支持数据集分析、可视化与样本追踪
• 06支持从本地、S3、HDFS 读取与导出数据

适用场景

• 对网页规模的预训练语料进行去重和过滤
• 为大模型准备指令微调或合成数据集
• 通过抽取、分块和清洗构建 RAG 索引
• 为多模态模型训练整理视频或图像数据集

快速上手

1. 1

   使用 uv 安装软件包

   uv pip install py-data-juicer
2. 2

   使用配置文件运行示例流水线

   dj-process --config demos/process_simple/process.yaml

使用前须知

• !GPU 加速和大规模 Ray 执行等高级功能需要额外配置和硬件支持。

标签

常见问题

data-juicer 是什么？

面向基础模型的数据处理系统，提供 200 多种可组合算子，用于清洗、过滤、去重和合成文本、图像、音频与视频数据。 Data-Juicer 是一个数据处理框架，用于为大语言模型及其他基础模型准备训练与检索数据。它提供清洗、过滤、去重、合成数据生成和数据画像等模块化算子，覆盖文本、图像、音频、视频及多模态数据。

data-juicer 可以免费使用吗？用的什么许可证？

data-juicer 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

data-juicer 还在维护吗？

活跃维护中。data-juicer 最近一次提交是在 2026年10月21日。

data-juicer 适合用来做什么？

对网页规模的预训练语料进行去重和过滤 为大模型准备指令微调或合成数据集 通过抽取、分块和清洗构建 RAG 索引 为多模态模型训练整理视频或图像数据集

data-juicer 怎么安装和运行？

使用 uv 安装软件包: uv pip install py-data-juicer 使用配置文件运行示例流水线: dj-process --config demos/process_simple/process.yaml

在哪里获取 data-juicer？

源代码和安装说明在 GitHub 上：https://github.com/datajuicer/data-juicer