datajuicer/data-juicer

Что это?

Ключевые возможности

• 01Более 200 операторов для текста, изображений, аудио, видео и мультимодальных данных
• 02YAML-рецепты для воспроизводимых пайплайнов, которыми можно делиться
• 03Python API для объединения операторов при обработке наборов данных
• 04Распределённая обработка с разбиением на части на базе Ray для масштабирования
• 05Анализ и визуализация наборов данных, отслеживание примеров
• 06Загрузка и экспорт данных в локальное хранилище, S3 и HDFS

Сценарии использования

• Дедупликация и фильтрация веб-масштабных корпусов для предобучения
• Подготовка наборов данных для instruction tuning или синтетических данных для LLM
• Создание индексов RAG с извлечением, разбиением на фрагменты и очисткой данных
• Подготовка наборов видео или изображений для обучения мультимодальных моделей

Быстрый старт

1. 1

   Установите пакет с помощью uv

   uv pip install py-data-juicer
2. 2

   Запустите пример конвейера из конфигурации

   dj-process --config demos/process_simple/process.yaml

Что важно знать

• !Для некоторых расширенных функций, таких как ускорение на GPU и выполнение Ray в больших масштабах, требуются дополнительная настройка и оборудование.

Темы

Частые вопросы

Что такое data-juicer?

Система обработки данных с более чем 200 комбинируемыми операторами для очистки, фильтрации, дедупликации и генерации текста, изображений, аудио и видео для обучения foundation-моделей. Data-Juicer — это фреймворк для подготовки обучающих данных и данных для поиска для больших языковых и других foundation-моделей. В нём есть модульные операторы для очистки, фильтрации, дедупликации, генерации синтетических данных и анализа, которые работают с текстом, изображениями, аудио, видео и мультимодальными данными.

data-juicer можно использовать бесплатно? Какая у него лицензия?

data-juicer распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

data-juicer всё ещё поддерживается?

Активно поддерживается. Последний коммит в data-juicer — 21 окт. 2026 г..

Для чего можно использовать data-juicer?

Дедупликация и фильтрация веб-масштабных корпусов для предобучения Подготовка наборов данных для instruction tuning или синтетических данных для LLM Создание индексов RAG с извлечением, разбиением на фрагменты и очисткой данных Подготовка наборов видео или изображений для обучения мультимодальных моделей

Как установить data-juicer?

Установите пакет с помощью uv: uv pip install py-data-juicer Запустите пример конвейера из конфигурации: dj-process --config demos/process_simple/process.yaml

Где скачать data-juicer?

Исходный код и инструкции по установке — на GitHub: https://github.com/datajuicer/data-juicer