NVIDIA-NeMo/Curator

Что это?

Ключевые возможности

• 01Модульные этапы загрузки, фильтрации, дедупликации, классификации и записи данных.
• 02Дедупликация и классификация с GPU-ускорением на базе RAPIDS.
• 03Запуск одного и того же конвейера на ноутбуке или в многонодном кластере Ray.
• 04Плагины для работы с текстом, изображениями, видео и аудио.
• 05Встроенный сервер инференса, совместимый с OpenAI, для сценариев генерации синтетических данных.

Сценарии использования

• Дедупликация и фильтрация веб-текстов по качеству перед предварительным обучением LLM.
• Фильтрация и создание эмбеддингов для больших коллекций изображений, используемых в обучающих датасетах.
• Подготовка видеоклипов с обнаружением сцен и фильтрацией по движению.
• Транскрибирование и фильтрация речевых данных для обучения аудиомоделей.

Быстрый старт

1. 1

   Установите менеджер пакетов uv (скрипт установки из README передаётся в sh через конвейер, поэтому здесь команда не приводится)

2. 2

   Создайте виртуальное окружение и установите дополнительные компоненты для обработки текста на CPU

   uv venv && source .venv/bin/activate uv pip install "nemo-curator[text_cpu]"
3. 3

   Проверьте установку, выведя версию

   python -c "import nemo_curator; print(nemo_curator.__version__)"

Что важно знать

• !Для обработки текста на GPU требуется CUDA 12 в Linux x86_64 и около 16 ГБ памяти GPU.
• !Стандартная установка через pip не поддерживается для текстового дополнения CUDA 12; для него нужен специальный файл переопределения uv.
• !Для аудио- и видеопроцессов требуется FFmpeg; лучше всего использовать для этого пользовательскую сборку контейнера.
• !Начиная с версии 26.09 NVIDIA больше не публикует новые образы контейнеров NeMo Curator в NGC.

Темы

Частые вопросы

Что такое Curator?

Набор инструментов с GPU-ускорением для создания воспроизводимых конвейеров фильтрации, дедупликации и преобразования больших текстовых, графических, видео- и аудиодатасетов для обучения ИИ. NeMo Curator — это Python-инструментарий для подготовки больших датасетов, используемых для обучения ИИ-моделей. ML-инженеры и команды по работе с данными могут собирать конвейеры из этапов загрузки, фильтрации, дедупликации, классификации и записи данных. Для текста, изображений, видео и аудио предусмотрены отдельные наборы компонентов.

Curator можно использовать бесплатно? Какая у него лицензия?

Curator распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

Curator всё ещё поддерживается?

Активно поддерживается. Последний коммит в Curator — 21 окт. 2026 г..

Для чего можно использовать Curator?

Дедупликация и фильтрация веб-текстов по качеству перед предварительным обучением LLM. Фильтрация и создание эмбеддингов для больших коллекций изображений, используемых в обучающих датасетах. Подготовка видеоклипов с обнаружением сцен и фильтрацией по движению. Транскрибирование и фильтрация речевых данных для обучения аудиомоделей.

Как установить Curator?

Установите менеджер пакетов uv (скрипт установки из README передаётся в sh через конвейер, поэтому здесь команда не приводится) Создайте виртуальное окружение и установите дополнительные компоненты для обработки текста на CPU: uv venv && source .venv/bin/activate uv pip install "nemo-curator[text_cpu]" Проверьте установку, выведя версию: python -c "import nemo_curator; print(nemo_curator.__version__)"

Где скачать Curator?

Исходный код и инструкции по установке — на GitHub: https://github.com/NVIDIA-NeMo/Curator