Repolode
Enviar
NVIDIA-NeMo

NVIDIA-NeMo/DataDesigner

Framework Python da NVIDIA para gerar datasets sintéticos do zero ou a partir de dados-semente, usando samplers, LLMs, modelos de imagem e validadores.

Ver no GitHubSite
Estrelas
2,401
Forks
245
Issues abertas
67
Último commit
há 20 horas

O que é?

O NeMo Data Designer é um framework para criar datasets sintéticos que vão além de simplesmente solicitar conteúdo a um modelo de linguagem. As colunas podem ser amostradas a partir de distribuições estatísticas, geradas por LLMs ou modelos de imagem, ou extraídas de datasets-semente existentes. Também é possível fazer com que os campos dependam uns dos outros para manter consistentes as relações entre eles.

As saídas geradas podem ser verificadas com validadores Python e SQL, validadores personalizados ou avaliadores baseados em LLMs. O framework oferece suporte a contexto multimodal com imagens, áudio e vídeo, e pode conectar a geração a servidores MCP locais ou remotos, registrando os rastros de interação. Os usuários podem visualizar um registro de exemplo antes de iniciar um trabalho em larga escala, além de retomar e monitorar execuções longas de geração.

Os modelos são configurados por meio de provedores como NVIDIA Build, OpenAI e OpenRouter, e uma CLI gerencia a configuração de provedores e modelos. Pacotes de plugins, mantidos em um repositório separado, adicionam recursos como leitores de dados-semente do GitHub e um toolkit para gerar perguntas e respostas com recuperação de informação. Há suporte para Python 3.10 a 3.14.

Recursos principais

  • 01Gera texto, dados estruturados e imagens usando samplers, LLMs, modelos de imagem ou datasets-semente.
  • 02Controla as relações entre campos por meio de geração que considera as dependências.
  • 03Valida as saídas com Python, SQL, validadores personalizados e avaliadores baseados em LLMs.
  • 04Conecta a geração a servidores MCP locais ou remotos e registra os rastros.
  • 05Oferece suporte a plugins para fontes de dados e etapas de processamento adicionais.

Casos de uso

  • Criar avaliações sintéticas de clientes ou catálogos de produtos com atributos controlados para testes ou treinamento.
  • Gerar pares de perguntas e respostas a partir de documentos para treinar sistemas de recuperação de informação.
  • Produzir datasets validados de uso de ferramentas ou de interações com agentes.

Início rápido

  1. 1

    Instale o Data Designer pelo PyPI

    pip install data-designer
  2. 2

    Configure uma chave de API para um provedor de modelos padrão

    export NVIDIA_API_KEY="your-api-key-here"
  3. 3

    Execute o exemplo em Python do README para visualizar os dados gerados

Antes de usar

  • A geração requer uma chave de API de um provedor de modelos, como NVIDIA Build, OpenAI ou OpenRouter.
  • A telemetria é coletada por padrão e pode ser desativada com NEMO_TELEMETRY_ENABLED=false.
  • O NVIDIA Build destina-se apenas a avaliação e testes, não ao uso em produção.

Em coleções

Frameworks e apps de agentes de IA open sourceServidores MCP

Tópicos

#synthetic-data#data-generation#llm#multimodal#data-augmentation#tool-use#agentic-ai#mcp#nemo#nvidia

Perguntas frequentes

O que é DataDesigner?
Framework Python da NVIDIA para gerar datasets sintéticos do zero ou a partir de dados-semente, usando samplers, LLMs, modelos de imagem e validadores. O NeMo Data Designer é um framework para criar datasets sintéticos que vão além de simplesmente solicitar conteúdo a um modelo de linguagem. As colunas podem ser amostradas a partir de distribuições estatísticas, geradas por LLMs ou modelos de imagem, ou extraídas de datasets-semente existentes. Também é possível fazer com que os campos dependam uns dos outros para manter consistentes as relações entre eles.
DataDesigner é gratuito? Qual é a licença?
DataDesigner é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
DataDesigner ainda é mantido?
Manutenção ativa. O último commit de DataDesigner foi em 7 de nov. de 2026.
Para que posso usar DataDesigner?
Criar avaliações sintéticas de clientes ou catálogos de produtos com atributos controlados para testes ou treinamento. Gerar pares de perguntas e respostas a partir de documentos para treinar sistemas de recuperação de informação. Produzir datasets validados de uso de ferramentas ou de interações com agentes.
Como instalar DataDesigner?
Instale o Data Designer pelo PyPI: pip install data-designer Configure uma chave de API para um provedor de modelos padrão: export NVIDIA_API_KEY="your-api-key-here" Execute o exemplo em Python do README para visualizar os dados gerados
Onde consigo DataDesigner?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/NVIDIA-NeMo/DataDesigner

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados