Sistema de processamento de dados com mais de 200 operadores combináveis para limpar, filtrar, deduplicar e sintetizar dados de texto, imagem, áudio e vídeo para o treinamento de modelos fundacionais.
7,2 mil437PythonApache-2.0Atualizado há 4 horas
NVIDIA-NeMo/Curator
Toolkit acelerado por GPU para criar pipelines reproduzíveis que filtram, deduplicam e transformam grandes conjuntos de dados de texto, imagem, vídeo e áudio para treinar modelos de IA.
- Estrelas
- 1,818
- Forks
- 351
- Issues abertas
- 297
- Último commit
- há 6 horas
O que é?
NeMo Curator é um toolkit Python para preparar grandes conjuntos de dados usados no treinamento de modelos de IA. Ele permite que engenheiros de ML e equipes de dados montem pipelines com etapas para carregar, filtrar, deduplicar, classificar e gravar dados, com componentes específicos para texto, imagem, vídeo e áudio.
Os pipelines são compostos por etapas que declaram suas próprias necessidades de CPU, GPU e réplicas, e um executor extensível os distribui pelos recursos disponíveis. A mesma definição de pipeline pode ser executada em uma única máquina ou em um cluster Ray com vários nós, inclusive em ambientes HPC gerenciados pelo Slurm. A documentação do projeto aponta o executor Xenna como padrão para produção, enquanto os backends baseados em Ray estão disponíveis como opções experimentais.
O toolkit faz parte da suíte NVIDIA NeMo e é usado nos pipelines de dados descritos para os conjuntos de dados Nemotron e Nemotron-CC. A instalação é feita via uv ou Docker, com uma opção com CUDA 12 para workloads de texto em GPU no Linux.
Recursos principais
- 01Etapas modulares para carregar, filtrar, deduplicar, classificar e gravar dados.
- 02Deduplicação e classificação aceleradas por GPU usando RAPIDS.
- 03Executa o mesmo pipeline em um laptop ou em um cluster Ray com vários nós.
- 04Plug-ins para as modalidades de texto, imagem, vídeo e áudio.
- 05Inclui um servidor de inferência compatível com OpenAI para workflows de dados sintéticos.
Casos de uso
- Deduplicar e filtrar texto da web por qualidade antes do pré-treinamento de LLMs.
- Filtrar e gerar embeddings de grandes coleções de imagens para conjuntos de dados de treinamento.
- Preparar clipes de vídeo com detecção de cenas e filtragem por movimento.
- Transcrever e filtrar dados de fala para treinar modelos de áudio.
Início rápido
- 1
Instale o gerenciador de pacotes uv (o script de instalação do README é enviado para o sh por meio de um pipe, então nenhum comando é informado aqui)
- 2
Crie um ambiente virtual e instale os extras de texto para CPU
uv venv && source .venv/bin/activate uv pip install "nemo-curator[text_cpu]" - 3
Verifique a instalação exibindo a versão
python -c "import nemo_curator; print(nemo_curator.__version__)"
Antes de usar
- O processamento de texto com GPU exige CUDA 12 no Linux x86_64 e cerca de 16 GB de memória de GPU.
- A instalação padrão com pip não é compatível com o extra de texto para CUDA 12; é necessário um arquivo especial de override para uv.
- Os fluxos de trabalho de áudio e vídeo precisam do FFmpeg; o ideal é cuidar disso com uma build de contêiner personalizada.
- A partir da versão 26.09, a NVIDIA deixa de publicar novas imagens de contêiner do NeMo Curator no NGC.
Tópicos
Perguntas frequentes
- O que é Curator?
- Toolkit acelerado por GPU para criar pipelines reproduzíveis que filtram, deduplicam e transformam grandes conjuntos de dados de texto, imagem, vídeo e áudio para treinar modelos de IA. NeMo Curator é um toolkit Python para preparar grandes conjuntos de dados usados no treinamento de modelos de IA. Ele permite que engenheiros de ML e equipes de dados montem pipelines com etapas para carregar, filtrar, deduplicar, classificar e gravar dados, com componentes específicos para texto, imagem, vídeo e áudio.
- Curator é gratuito? Qual é a licença?
- Curator é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- Curator ainda é mantido?
- Manutenção ativa. O último commit de Curator foi em 21 de out. de 2026.
- Para que posso usar Curator?
- Deduplicar e filtrar texto da web por qualidade antes do pré-treinamento de LLMs. Filtrar e gerar embeddings de grandes coleções de imagens para conjuntos de dados de treinamento. Preparar clipes de vídeo com detecção de cenas e filtragem por movimento. Transcrever e filtrar dados de fala para treinar modelos de áudio.
- Como instalar Curator?
- Instale o gerenciador de pacotes uv (o script de instalação do README é enviado para o sh por meio de um pipe, então nenhum comando é informado aqui) Crie um ambiente virtual e instale os extras de texto para CPU: uv venv && source .venv/bin/activate uv pip install "nemo-curator[text_cpu]" Verifique a instalação exibindo a versão: python -c "import nemo_curator; print(nemo_curator.__version__)"
- Onde consigo Curator?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/NVIDIA-NeMo/Curator
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Framework Python para criar aplicações de RAG, agentes e processamento de documentos que conectam LLMs aos seus próprios dados.
52,6 mil8,4 milPythonMITAtualizado ontem
Sistema em Python para executar pipelines de map-reduce e ETL com LLMs sobre grandes volumes de dados estruturados e não estruturados, descritos em linguagem natural.
4,1 mil452PythonMITAtualizado há 12 dias
Um compilador de machine learning e mecanismo de implantação que executa modelos de linguagem grandes em GPUs, navegadores e dispositivos móveis, com APIs compatíveis com a OpenAI.
23,3 mil2,2 milPythonApache-2.0Atualizado há 15 dias
Biblioteca Python leve que oferece uma API no estilo OpenAI para vários provedores de LLM, além de uma Agents API com ferramentas e suporte a MCP.
16,4 mil1,7 milPythonMITAtualizado mês passado
MNN é um mecanismo leve de inferência e treinamento de deep learning da Alibaba, criado para executar modelos em dispositivos móveis e embarcados, incluindo LLMs no próprio dispositivo.
16,3 mil2,5 milC++Apache-2.0Atualizado há 8 horas