Repolode
Enviar
NVIDIA-NeMo

NVIDIA-NeMo/Curator

Toolkit acelerado por GPU para crear pipelines reproducibles que filtran, deduplican y transforman grandes conjuntos de datos de texto, imágenes, video y audio para entrenar IA.

Ver en GitHub
Estrellas
1,818
Forks
351
Issues abiertos
297
Último commit
hace 6 horas

¿Qué es?

NeMo Curator es un toolkit de Python para preparar grandes conjuntos de datos que se usan para entrenar modelos de IA. Permite a los ingenieros de ML y a los equipos de datos ensamblar pipelines con etapas para cargar, filtrar, deduplicar, clasificar y escribir datos, con componentes independientes para texto, imágenes, video y audio.

Los pipelines se construyen con etapas que declaran sus propios requisitos de CPU, GPU y réplicas, y un executor conectable los escala entre los recursos disponibles. La misma definición del pipeline puede ejecutarse en una sola máquina o en un clúster Ray multinodo, incluidos los entornos HPC gestionados con Slurm. El proyecto documenta un executor Xenna como opción predeterminada para producción, y ofrece backends basados en Ray como opciones experimentales.

El toolkit forma parte de la suite NVIDIA NeMo y se utiliza en los pipelines de datos descritos para los conjuntos de datos Nemotron y Nemotron-CC. Se instala mediante uv o Docker, con una opción basada en CUDA 12 para cargas de trabajo de texto con GPU en Linux.

Funciones clave

  • 01Etapas modulares para cargar, filtrar, deduplicar, clasificar y escribir datos.
  • 02Deduplicación y clasificación aceleradas por GPU mediante RAPIDS.
  • 03Ejecuta el mismo pipeline en una laptop o en un clúster Ray multinodo.
  • 04Plugins de modalidad para texto, imágenes, video y audio.
  • 05Incluye un servidor de inferencia compatible con OpenAI para flujos de trabajo de datos sintéticos.

Casos de uso

  • Deduplicar y filtrar texto web por calidad antes del preentrenamiento de LLM.
  • Filtrar y generar embeddings de grandes colecciones de imágenes para conjuntos de datos de entrenamiento.
  • Preparar clips de video mediante detección de escenas y filtrado por movimiento.
  • Transcribir y filtrar datos de voz para entrenar modelos de audio.

Inicio rápido

  1. 1

    Instala el gestor de paquetes uv (el script de instalación del README se envía a sh mediante una tubería, por lo que aquí no se indica ningún comando)

  2. 2

    Crea un entorno virtual e instala los extras de texto para CPU

    uv venv && source .venv/bin/activate uv pip install "nemo-curator[text_cpu]"
  3. 3

    Comprueba la instalación mostrando la versión

    python -c "import nemo_curator; print(nemo_curator.__version__)"

Antes de usarlo

  • La ruta de texto para GPU requiere CUDA 12 en Linux x86_64 y aproximadamente 16 GB de memoria de GPU.
  • La instalación estándar con pip no es compatible con el extra de texto para CUDA 12; se necesita un archivo de overrides especial para uv.
  • Los flujos de trabajo de audio y vídeo necesitan FFmpeg; lo más recomendable es gestionarlo con una compilación de contenedor personalizada.
  • A partir de la versión 26.09, NVIDIA ya no publica nuevas imágenes de contenedor de NeMo Curator en NGC.

Temas

#data-curation#llm#data-processing#deduplication#gpu#ray#data-quality#python#data#data-prep

Preguntas frecuentes

¿Qué es Curator?
Toolkit acelerado por GPU para crear pipelines reproducibles que filtran, deduplican y transforman grandes conjuntos de datos de texto, imágenes, video y audio para entrenar IA. NeMo Curator es un toolkit de Python para preparar grandes conjuntos de datos que se usan para entrenar modelos de IA. Permite a los ingenieros de ML y a los equipos de datos ensamblar pipelines con etapas para cargar, filtrar, deduplicar, clasificar y escribir datos, con componentes independientes para texto, imágenes, video y audio.
¿Curator es gratuito? ¿Qué licencia tiene?
Curator es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿Curator sigue mantenido?
Mantenimiento activo. El último commit de Curator fue el 21 oct 2026.
¿Para qué puedo usar Curator?
Deduplicar y filtrar texto web por calidad antes del preentrenamiento de LLM. Filtrar y generar embeddings de grandes colecciones de imágenes para conjuntos de datos de entrenamiento. Preparar clips de video mediante detección de escenas y filtrado por movimiento. Transcribir y filtrar datos de voz para entrenar modelos de audio.
¿Cómo se instala Curator?
Instala el gestor de paquetes uv (el script de instalación del README se envía a sh mediante una tubería, por lo que aquí no se indica ningún comando) Crea un entorno virtual e instala los extras de texto para CPU: uv venv && source .venv/bin/activate uv pip install "nemo-curator[text_cpu]" Comprueba la instalación mostrando la versión: python -c "import nemo_curator; print(nemo_curator.__version__)"
¿Dónde consigo Curator?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/NVIDIA-NeMo/Curator

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados