datajuicer/data-juicer

O que é?

Recursos principais

• 01Mais de 200 operadores para dados de texto, imagem, áudio, vídeo e multimodais
• 02Receitas YAML para pipelines reproduzíveis e compartilháveis
• 03API Python para compor operadores em datasets
• 04Execução particionada baseada em Ray para processamento em larga escala
• 05Análise e visualização de datasets, além de rastreamento de amostras
• 06Carregamento e exportação em armazenamento local, S3 e HDFS

Casos de uso

• Deduplicar e filtrar corpora de pré-treinamento em escala web
• Preparar datasets de ajuste por instruções ou sintéticos para LLMs
• Criar índices de RAG com extração, divisão em chunks e limpeza
• Selecionar e organizar datasets de vídeo ou imagem para o treinamento de modelos multimodais

Início rápido

1. 1

   Instale o pacote com uv

   uv pip install py-data-juicer
2. 2

   Execute o pipeline de exemplo a partir da configuração

   dj-process --config demos/process_simple/process.yaml

Antes de usar

• !Alguns recursos avançados, como aceleração por GPU e execução do Ray em grande escala, exigem configuração e hardware adicionais.

Tópicos

Perguntas frequentes

O que é data-juicer?

Sistema de processamento de dados com mais de 200 operadores combináveis para limpar, filtrar, deduplicar e sintetizar dados de texto, imagem, áudio e vídeo para o treinamento de modelos fundacionais. Data-Juicer é um framework de processamento de dados para preparar dados de treinamento e recuperação para LLMs e outros modelos fundacionais. Ele oferece operadores modulares para tarefas como limpeza, filtragem, deduplicação, geração de dados sintéticos e criação de perfis, cobrindo entradas de texto, imagem, áudio, vídeo e multimodais.

data-juicer é gratuito? Qual é a licença?

data-juicer é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.

data-juicer ainda é mantido?

Manutenção ativa. O último commit de data-juicer foi em 21 de out. de 2026.

Para que posso usar data-juicer?

Deduplicar e filtrar corpora de pré-treinamento em escala web Preparar datasets de ajuste por instruções ou sintéticos para LLMs Criar índices de RAG com extração, divisão em chunks e limpeza Selecionar e organizar datasets de vídeo ou imagem para o treinamento de modelos multimodais

Como instalar data-juicer?

Instale o pacote com uv: uv pip install py-data-juicer Execute o pipeline de exemplo a partir da configuração: dj-process --config demos/process_simple/process.yaml

Onde consigo data-juicer?

O código-fonte e as instruções de instalação estão no GitHub: https://github.com/datajuicer/data-juicer