Библиотека Python для генерации вымышленных, но реалистичных данных — имён, адресов, email и финансовых значений — с поддержкой 47 локалей.
NVIDIA-NeMo/DataDesigner
Python-фреймворк NVIDIA для генерации синтетических датасетов с нуля или на основе исходных данных с помощью семплеров, LLM, моделей изображений и валидаторов.
- Звёзды
- 2,398
- Форки
- 243
- Открытые issues
- 67
- Последний коммит
- 20 часов назад
Что это?
NeMo Data Designer — фреймворк для создания синтетических датасетов, который позволяет делать больше, чем просто отправлять запросы языковой модели. Значения в столбцах можно получать из статистических распределений, генерировать с помощью LLM или моделей изображений либо брать из существующих исходных датасетов. Поля можно связать зависимостями, чтобы сохранять согласованность между ними.
Результаты генерации можно проверять с помощью валидаторов на Python и SQL, собственных валидаторов или оценщиков на базе LLM. Фреймворк поддерживает мультимодальный контекст с изображениями, аудио и видео, а также подключение генерации к локальным или удалённым MCP-серверам с записью трасс взаимодействия. Перед запуском масштабной задачи можно просмотреть пример записи, а длительные задания генерации — возобновлять и отслеживать.
Модели настраиваются через таких провайдеров, как NVIDIA Build, OpenAI и OpenRouter, а для настройки провайдеров и моделей предусмотрен CLI. Плагины, которые развиваются в отдельном репозитории, добавляют такие возможности, как чтение исходных данных из GitHub и инструментарий для генерации пар «вопрос — ответ» на основе поиска. Поддерживаются Python 3.10–3.14.
Ключевые возможности
- 01Генерирует текст, структурированные данные и изображения с помощью семплеров, LLM, моделей изображений или исходных датасетов.
- 02Учитывает зависимости между полями, чтобы управлять связями между ними при генерации.
- 03Проверяет результаты с помощью валидаторов на Python и SQL, собственных валидаторов и оценщиков на базе LLM.
- 04Подключает генерацию к локальным или удалённым MCP-серверам и записывает трассы взаимодействия.
- 05Поддерживает плагины для дополнительных источников данных и этапов обработки.
Сценарии использования
- Создание синтетических отзывов покупателей или каталогов товаров с заданными атрибутами для тестирования или обучения.
- Генерация пар «вопрос — ответ» на основе документов для обучения ретриверов.
- Создание проверенных датасетов использования инструментов или взаимодействия агентов.
Быстрый старт
- 1
Установите Data Designer из PyPI
pip install data-designer - 2
Укажите API-ключ для поставщика моделей по умолчанию
export NVIDIA_API_KEY="your-api-key-here" - 3
Запустите пример на Python из README, чтобы просмотреть сгенерированные данные
Что важно знать
- Для генерации нужен API-ключ поставщика моделей, например NVIDIA Build, OpenAI или OpenRouter.
- Телеметрия собирается по умолчанию. Ее можно отключить, задав NEMO_TELEMETRY_ENABLED=false.
- NVIDIA Build предназначен только для оценки и тестирования, а не для использования в production.
В подборках
Темы
Частые вопросы
- Что такое DataDesigner?
- Python-фреймворк NVIDIA для генерации синтетических датасетов с нуля или на основе исходных данных с помощью семплеров, LLM, моделей изображений и валидаторов. NeMo Data Designer — фреймворк для создания синтетических датасетов, который позволяет делать больше, чем просто отправлять запросы языковой модели. Значения в столбцах можно получать из статистических распределений, генерировать с помощью LLM или моделей изображений либо брать из существующих исходных датасетов. Поля можно связать зависимостями, чтобы сохранять согласованность между ними.
- DataDesigner можно использовать бесплатно? Какая у него лицензия?
- DataDesigner распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- DataDesigner всё ещё поддерживается?
- Активно поддерживается. Последний коммит в DataDesigner — 5 нояб. 2026 г..
- Для чего можно использовать DataDesigner?
- Создание синтетических отзывов покупателей или каталогов товаров с заданными атрибутами для тестирования или обучения. Генерация пар «вопрос — ответ» на основе документов для обучения ретриверов. Создание проверенных датасетов использования инструментов или взаимодействия агентов.
- Как установить DataDesigner?
- Установите Data Designer из PyPI: pip install data-designer Укажите API-ключ для поставщика моделей по умолчанию: export NVIDIA_API_KEY="your-api-key-here" Запустите пример на Python из README, чтобы просмотреть сгенерированные данные
- Где скачать DataDesigner?
- Исходный код и инструкции по установке — на GitHub: https://github.com/NVIDIA-NeMo/DataDesigner
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Платформа для генерации реалистичных синтетических событий: отправляет их в потоке в реальном времени или пакетно в логи, базы данных и HTTP-эндпоинты.
TypeScript-фреймворк для AI-агентов с долговременной когнитивной памятью, опциональной HEXACO-личностью, оркестрацией мультиагентных команд и единым интерфейсом для 13 LLM-провайдеров.
Открытый движок VYNN AI — агента, который отвечает на вопросы об акциях, рассчитывая оценки, строя модели и готовя отчёты с источниками.
Подборка статей к обзору агентного рассуждения в LLM: планирование, использование инструментов, поиск, память, мультиагентные системы и их применение.
Python-фреймворк для создания, запуска и наблюдения за LLM-агентами: инструменты, команды агентов, память, изолированное выполнение и развёртываемый сервис.