Repolode
NVIDIA-NeMo

NVIDIA-NeMo/DataDesigner

Python-фреймворк NVIDIA для генерации синтетических датасетов с нуля или на основе исходных данных с помощью семплеров, LLM, моделей изображений и валидаторов.

Звёзды
2,398
Форки
243
Открытые issues
67
Последний коммит
20 часов назад

Что это?

NeMo Data Designer — фреймворк для создания синтетических датасетов, который позволяет делать больше, чем просто отправлять запросы языковой модели. Значения в столбцах можно получать из статистических распределений, генерировать с помощью LLM или моделей изображений либо брать из существующих исходных датасетов. Поля можно связать зависимостями, чтобы сохранять согласованность между ними.

Результаты генерации можно проверять с помощью валидаторов на Python и SQL, собственных валидаторов или оценщиков на базе LLM. Фреймворк поддерживает мультимодальный контекст с изображениями, аудио и видео, а также подключение генерации к локальным или удалённым MCP-серверам с записью трасс взаимодействия. Перед запуском масштабной задачи можно просмотреть пример записи, а длительные задания генерации — возобновлять и отслеживать.

Модели настраиваются через таких провайдеров, как NVIDIA Build, OpenAI и OpenRouter, а для настройки провайдеров и моделей предусмотрен CLI. Плагины, которые развиваются в отдельном репозитории, добавляют такие возможности, как чтение исходных данных из GitHub и инструментарий для генерации пар «вопрос — ответ» на основе поиска. Поддерживаются Python 3.10–3.14.

Ключевые возможности

  • 01Генерирует текст, структурированные данные и изображения с помощью семплеров, LLM, моделей изображений или исходных датасетов.
  • 02Учитывает зависимости между полями, чтобы управлять связями между ними при генерации.
  • 03Проверяет результаты с помощью валидаторов на Python и SQL, собственных валидаторов и оценщиков на базе LLM.
  • 04Подключает генерацию к локальным или удалённым MCP-серверам и записывает трассы взаимодействия.
  • 05Поддерживает плагины для дополнительных источников данных и этапов обработки.

Сценарии использования

  • Создание синтетических отзывов покупателей или каталогов товаров с заданными атрибутами для тестирования или обучения.
  • Генерация пар «вопрос — ответ» на основе документов для обучения ретриверов.
  • Создание проверенных датасетов использования инструментов или взаимодействия агентов.

Быстрый старт

  1. 1

    Установите Data Designer из PyPI

    pip install data-designer
  2. 2

    Укажите API-ключ для поставщика моделей по умолчанию

    export NVIDIA_API_KEY="your-api-key-here"
  3. 3

    Запустите пример на Python из README, чтобы просмотреть сгенерированные данные

Что важно знать

  • Для генерации нужен API-ключ поставщика моделей, например NVIDIA Build, OpenAI или OpenRouter.
  • Телеметрия собирается по умолчанию. Ее можно отключить, задав NEMO_TELEMETRY_ENABLED=false.
  • NVIDIA Build предназначен только для оценки и тестирования, а не для использования в production.

В подборках

Темы

Частые вопросы

Что такое DataDesigner?
Python-фреймворк NVIDIA для генерации синтетических датасетов с нуля или на основе исходных данных с помощью семплеров, LLM, моделей изображений и валидаторов. NeMo Data Designer — фреймворк для создания синтетических датасетов, который позволяет делать больше, чем просто отправлять запросы языковой модели. Значения в столбцах можно получать из статистических распределений, генерировать с помощью LLM или моделей изображений либо брать из существующих исходных датасетов. Поля можно связать зависимостями, чтобы сохранять согласованность между ними.
DataDesigner можно использовать бесплатно? Какая у него лицензия?
DataDesigner распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
DataDesigner всё ещё поддерживается?
Активно поддерживается. Последний коммит в DataDesigner — 5 нояб. 2026 г..
Для чего можно использовать DataDesigner?
Создание синтетических отзывов покупателей или каталогов товаров с заданными атрибутами для тестирования или обучения. Генерация пар «вопрос — ответ» на основе документов для обучения ретриверов. Создание проверенных датасетов использования инструментов или взаимодействия агентов.
Как установить DataDesigner?
Установите Data Designer из PyPI: pip install data-designer Укажите API-ключ для поставщика моделей по умолчанию: export NVIDIA_API_KEY="your-api-key-here" Запустите пример на Python из README, чтобы просмотреть сгенерированные данные
Где скачать DataDesigner?
Исходный код и инструкции по установке — на GitHub: https://github.com/NVIDIA-NeMo/DataDesigner

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

Платформа для генерации реалистичных синтетических событий: отправляет их в потоке в реальном времени или пакетно в логи, базы данных и HTTP-эндпоинты.

71+1 за неделю4PythonApache-2.0Активно поддерживаетсяОбновлён 17 дней назад

TypeScript-фреймворк для AI-агентов с долговременной когнитивной памятью, опциональной HEXACO-личностью, оркестрацией мультиагентных команд и единым интерфейсом для 13 LLM-провайдеров.

682102TypeScriptApache-2.0Обновлён 17 часов назад