Toolkit acelerado por GPU para crear pipelines reproducibles que filtran, deduplican y transforman grandes conjuntos de datos de texto, imágenes, video y audio para entrenar IA.
1,8 mil351PythonApache-2.0Actualizado hace 5 horas
datajuicer/data-juicer
Sistema de procesamiento de datos con más de 200 operadores componibles para limpiar, filtrar, deduplicar y sintetizar datos de texto, imagen, audio y video para entrenar modelos fundacionales.
- Estrellas
- 7,176
- Forks
- 437
- Issues abiertos
- 65
- Último commit
- hace 3 horas
¿Qué es?
Data-Juicer es un framework de procesamiento de datos para preparar datos de entrenamiento y recuperación para modelos de lenguaje grandes y otros modelos fundacionales. Ofrece operadores modulares para tareas como limpieza, filtrado, deduplicación, generación de datos sintéticos y análisis, compatibles con entradas de texto, imagen, audio, video y datos multimodales.
Los pipelines se definen como recetas YAML que se pueden versionar y compartir. También es posible componerlos directamente en Python encadenando operadores sobre un dataset. Un mismo pipeline puede ejecutarse en una sola máquina o escalarse en clústeres de Ray, con ejecución particionada, checkpoints y exportación a almacenamiento local, S3 o HDFS.
El proyecto también incluye herramientas de análisis y visualización de estadísticas de datasets, seguimiento de las muestras modificadas y un mecanismo de plugins para ampliar los operadores con extensiones de terceros.
Funciones clave
- 01Más de 200 operadores para datos de texto, imagen, audio, video y datos multimodales
- 02Recetas YAML para crear pipelines reproducibles y compartibles
- 03API de Python para componer operadores sobre datasets
- 04Ejecución particionada con Ray para procesar datos a gran escala
- 05Análisis y visualización de datasets, y seguimiento de muestras
- 06Carga y exportación desde y hacia almacenamiento local, S3 y HDFS
Casos de uso
- Deduplicar y filtrar corpus de preentrenamiento de escala web
- Preparar datasets de ajuste de instrucciones o datos sintéticos para LLMs
- Crear índices RAG mediante extracción, división en fragmentos y limpieza
- Seleccionar y preparar datasets de video o imagen para entrenar modelos multimodales
Inicio rápido
- 1
Instala el paquete con uv
uv pip install py-data-juicer - 2
Ejecuta el pipeline de ejemplo desde la configuración
dj-process --config demos/process_simple/process.yaml
Antes de usarlo
- Algunas funciones avanzadas, como la aceleración por GPU y la ejecución de Ray a gran escala, requieren configuración y hardware adicionales.
Temas
Preguntas frecuentes
- ¿Qué es data-juicer?
- Sistema de procesamiento de datos con más de 200 operadores componibles para limpiar, filtrar, deduplicar y sintetizar datos de texto, imagen, audio y video para entrenar modelos fundacionales. Data-Juicer es un framework de procesamiento de datos para preparar datos de entrenamiento y recuperación para modelos de lenguaje grandes y otros modelos fundacionales. Ofrece operadores modulares para tareas como limpieza, filtrado, deduplicación, generación de datos sintéticos y análisis, compatibles con entradas de texto, imagen, audio, video y datos multimodales.
- ¿data-juicer es gratuito? ¿Qué licencia tiene?
- data-juicer es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿data-juicer sigue mantenido?
- Mantenimiento activo. El último commit de data-juicer fue el 21 oct 2026.
- ¿Para qué puedo usar data-juicer?
- Deduplicar y filtrar corpus de preentrenamiento de escala web Preparar datasets de ajuste de instrucciones o datos sintéticos para LLMs Crear índices RAG mediante extracción, división en fragmentos y limpieza Seleccionar y preparar datasets de video o imagen para entrenar modelos multimodales
- ¿Cómo se instala data-juicer?
- Instala el paquete con uv: uv pip install py-data-juicer Ejecuta el pipeline de ejemplo desde la configuración: dj-process --config demos/process_simple/process.yaml
- ¿Dónde consigo data-juicer?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/datajuicer/data-juicer
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Plataforma open source para mover datos en pipelines ELT desde APIs, bases de datos y archivos hacia almacenes, lagos y aplicaciones de IA.
22,3 mil5,4 milPythonOtherActualizado hace 18 horas
Sistema de Python para ejecutar pipelines de map-reduce y ETL con LLM sobre grandes volúmenes de datos estructurados y no estructurados, descritos en lenguaje natural.
4,1 mil452PythonMITActualizado hace 12 días
Una alternativa directa a Jupyter con un agente de IA, un formato de notebook YAML `.deepnote` y un editor por bloques para Python, R y SQL.
3 mil201TypeScriptApache-2.0Actualizado anteayer
Monitor autogestionado de noticias en tendencia que reúne temas populares de plataformas chinas y feeds RSS, los filtra por palabras clave o con IA y envía resúmenes a canales de chat y correo electrónico.
63 mil24,9 milPythonGPL-3.0Actualizado hace 6 días
Framework de agentes de IA de propósito general y código abierto que ejecuta agentes basados en LLM desde una terminal, con uso de herramientas, compatibilidad con MCP y automatización del navegador.
58,7 mil10,2 milPythonMITActualizado hace 21 días