Repolode
Enviar
NVIDIA-NeMo

NVIDIA-NeMo/Automodel

Biblioteca de treinamento nativa de PyTorch DTensor para fine-tuning e pré-treinamento de LLMs, VLMs e modelos de difusão diretamente de checkpoints do Hugging Face.

Ver no GitHubSite
Estrelas
1,078
Forks
369
Issues abertas
502
Último commit
há 4 horas

O que é?

NeMo AutoModel é uma biblioteca de treinamento open source do NVIDIA NeMo Framework, criada sobre primitivas de distribuição do PyTorch, como DeviceMesh e DTensor. Ela é voltada ao pré-treinamento e ao fine-tuning (SFT e PEFT/LoRA) de modelos de linguagem grandes, modelos visão-linguagem, modelos de difusão e modelos de recuperação, e carrega checkpoints do Hugging Face sem conversão de formato.

Os treinamentos são definidos por recipes em YAML, que podem ser sobrescritas pela linha de comando. O paralelismo é configurado, não fixado no código: o mesmo script pode rodar em uma única GPU ou em vários nós, alterando o device mesh e combinando FSDP2, HSDP e paralelismo de tensor, contexto, sequência e pipeline. Há suporte a paralelismo de especialistas para modelos MoE, e o projeto inclui opções de execução para Kubernetes e Slurm.

O repositório inclui recipes para diversas famílias recentes de modelos open source, como Qwen, Gemma, Mistral, GLM, DeepSeek e Nemotron, além de treinamento de modelos drafter para speculative decoding, como EAGLE e DFlash.

Recursos principais

  • 01Carrega modelos do Hugging Face diretamente para SFT, LoRA e pré-treinamento, sem conversão.
  • 02Escala de uma GPU a jobs com vários nós alterando a configuração do device mesh.
  • 03Combina FSDP2, HSDP e paralelismo de tensor, contexto, sequência e pipeline.
  • 04Oferece suporte a paralelismo de especialistas para modelos mixture-of-experts.
  • 05Executa recipes definidas em YAML, que podem ser sobrescritas pela CLI.
  • 06Oferece opções de implantação para Kubernetes e Slurm.

Casos de uso

  • Fazer fine-tuning de um LLM ou VLM open-weight grande em um cluster com várias GPUs ou nós.
  • Executar SFT com LoRA ou com todos os parâmetros em modelos MoE recentes usando paralelismo de especialistas.
  • Treinar modelos drafter para speculative decoding, como EAGLE, para acelerar a inferência.
  • Prototipar mudanças no treinamento em PyTorch puro, sem reescrever o código do modelo para cada estratégia de paralelismo.

Antes de usar

  • Muitas receitas de exemplo são voltadas para clusters de GPU com vários nós de grande porte, como configurações com 8 a 16 nós ou EP64.

Tópicos

#llm#pytorch#fine-tuning#distributed-training#vlm#hugging-face#moe#lora#agent#deepseek-v4

Perguntas frequentes

O que é Automodel?
Biblioteca de treinamento nativa de PyTorch DTensor para fine-tuning e pré-treinamento de LLMs, VLMs e modelos de difusão diretamente de checkpoints do Hugging Face. NeMo AutoModel é uma biblioteca de treinamento open source do NVIDIA NeMo Framework, criada sobre primitivas de distribuição do PyTorch, como DeviceMesh e DTensor. Ela é voltada ao pré-treinamento e ao fine-tuning (SFT e PEFT/LoRA) de modelos de linguagem grandes, modelos visão-linguagem, modelos de difusão e modelos de recuperação, e carrega checkpoints do Hugging Face sem conversão de formato.
Automodel é gratuito? Qual é a licença?
Automodel é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
Automodel ainda é mantido?
Manutenção ativa. O último commit de Automodel foi em 6 de nov. de 2026.
Para que posso usar Automodel?
Fazer fine-tuning de um LLM ou VLM open-weight grande em um cluster com várias GPUs ou nós. Executar SFT com LoRA ou com todos os parâmetros em modelos MoE recentes usando paralelismo de especialistas. Treinar modelos drafter para speculative decoding, como EAGLE, para acelerar a inferência. Prototipar mudanças no treinamento em PyTorch puro, sem reescrever o código do modelo para cada estratégia de paralelismo.
Onde consigo Automodel?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/NVIDIA-NeMo/Automodel

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados