Repolode
提交项目
NVIDIA-NeMo

NVIDIA-NeMo/Automodel

基于 PyTorch DTensor 的训练库，可直接加载 Hugging Face 模型进行 LLM、VLM 等的微调与预训练。

在 GitHub 查看官网
Star
1,078
Fork
369
未关闭 Issue
502
最近提交
22小时前

这是什么？

NeMo AutoModel 是 NVIDIA NeMo Framework 下的开源训练库，基于 PyTorch 的 DeviceMesh 和 DTensor 等分布式原语构建。它面向大语言模型、视觉语言模型、扩散模型和检索模型的预训练与微调（包括 SFT 以及 PEFT/LoRA），可以直接加载 Hugging Face 检查点，无需格式转换。

训练任务通过 YAML 配方定义，并支持在命令行中覆盖任意字段。并行策略通过配置而非改写代码来指定：同一份脚本只需调整设备网格，即可在单卡或多节点上运行，并可组合 FSDP2、HSDP、张量、上下文、序列和流水线并行。针对 MoE 模型还支持专家并行，项目同时提供 Kubernetes 与 Slurm 的启动方式。

仓库中包含 Qwen、Gemma、Mistral、GLM、DeepSeek、Nemotron 等近期多个开源模型家族的训练配方，并支持 EAGLE、DFlash 等投机解码草稿模型的训练。

核心功能

  • 01无需格式转换，直接加载 Hugging Face 模型进行 SFT、LoRA 和预训练。
  • 02通过修改设备网格配置，从单卡扩展到多节点任务。
  • 03组合 FSDP2、HSDP、张量、上下文、序列和流水线并行。
  • 04支持 MoE 模型的专家并行。
  • 05基于 YAML 配方运行训练，并可通过命令行覆盖参数。
  • 06提供 Kubernetes 与 Slurm 部署方式。

适用场景

  • 在多卡或多节点集群上微调大型开源 LLM 或 VLM。
  • 对近期 MoE 模型使用专家并行进行 LoRA 或全参数 SFT。
  • 训练 EAGLE 等投机解码草稿模型以加速推理。
  • 在纯 PyTorch 中验证训练改动，无需为每种并行策略重写模型代码。

使用前须知

  • 许多示例配方面向大型多节点 GPU 集群，例如 8 到 16 个节点或 EP64 配置。

标签

#llm#pytorch#fine-tuning#distributed-training#vlm#hugging-face#moe#lora#agent#deepseek-v4

常见问题

Automodel 是什么？
基于 PyTorch DTensor 的训练库，可直接加载 Hugging Face 模型进行 LLM、VLM 等的微调与预训练。 NeMo AutoModel 是 NVIDIA NeMo Framework 下的开源训练库，基于 PyTorch 的 DeviceMesh 和 DTensor 等分布式原语构建。它面向大语言模型、视觉语言模型、扩散模型和检索模型的预训练与微调（包括 SFT 以及 PEFT/LoRA），可以直接加载 Hugging Face 检查点，无需格式转换。
Automodel 可以免费使用吗？用的什么许可证？
Automodel 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
Automodel 还在维护吗？
活跃维护中。Automodel 最近一次提交是在 2026年11月6日。
Automodel 适合用来做什么？
在多卡或多节点集群上微调大型开源 LLM 或 VLM。 对近期 MoE 模型使用专家并行进行 LoRA 或全参数 SFT。 训练 EAGLE 等投机解码草稿模型以加速推理。 在纯 PyTorch 中验证训练改动，无需为每种并行策略重写模型代码。
在哪里获取 Automodel？
源代码和安装说明在 GitHub 上：https://github.com/NVIDIA-NeMo/Automodel

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目