NVIDIA/Megatron-LM

这是什么？

核心功能

• 01支持张量、流水线、数据、专家和上下文并行，用于跨 GPU 扩展训练。
• 02支持 FP16、BF16、FP8、FP4 混合精度训练。
• 03提供可组合的 Transformer 构建模块和模型架构，便于定制训练框架。
• 04附带预配置的训练脚本和示例，方便科研使用。
• 05通过 Megatron Bridge 在 Hugging Face 与 Megatron 格式之间转换检查点。

适用场景

• 借助多维并行在大量 GPU 上训练大语言模型。
• 基于 GPU 优化构建模块搭建自定义分布式训练流程。
• 使用预配置脚本开展 Transformer 训练相关的科研实验。
• 在 Hugging Face 与 Megatron 格式之间转换模型检查点。

快速上手

1. 1

   从 PyPI 安装 Megatron Core

   uv pip install megatron-core
2. 2

   或克隆仓库并从源码安装

   git clone https://github.com/NVIDIA/Megatron-LM.git && cd Megatron-LM && uv pip install -e .
3. 3

   按照官方“第一次训练运行”指南完成数据准备和训练示例

使用前须知

• !训练大模型需要 NVIDIA GPU 和大量集群资源。
• !从源码构建可能占用大量内存，可能需要设置 MAX_JOBS 限制编译任务数。
• !部分功能（如 dev 分支）处于实验阶段。
• !元数据中的许可证显示为 NOASSERTION，使用前请查看 LICENSE 文件。

标签

常见问题

Megatron-LM 是什么？

面向大规模 Transformer 模型训练的 GPU 优化库与参考训练脚本，支持多维并行。 Megatron-LM 是 NVIDIA 推出的框架，用于在大量 GPU 上训练 Transformer 模型。仓库包含两部分：Megatron Core 是一套可组合的 GPU 优化构建模块库，适合开发者搭建自定义训练框架；Megatron-LM 则基于 Megatron Core，附带预配置的训练脚本，便于科研和快速实验。

Megatron-LM 可以免费使用吗？用的什么许可证？

Megatron-LM 以 Other 许可证开源。用于商业产品前，请先确认许可证条款。

Megatron-LM 还在维护吗？

活跃维护中。Megatron-LM 最近一次提交是在 2026年10月20日。

Megatron-LM 适合用来做什么？

借助多维并行在大量 GPU 上训练大语言模型。 基于 GPU 优化构建模块搭建自定义分布式训练流程。 使用预配置脚本开展 Transformer 训练相关的科研实验。 在 Hugging Face 与 Megatron 格式之间转换模型检查点。

Megatron-LM 怎么安装和运行？

从 PyPI 安装 Megatron Core: uv pip install megatron-core 或克隆仓库并从源码安装: git clone https://github.com/NVIDIA/Megatron-LM.git && cd Megatron-LM && uv pip install -e . 按照官方“第一次训练运行”指南完成数据准备和训练示例

在哪里获取 Megatron-LM？

源代码和安装说明在 GitHub 上：https://github.com/NVIDIA/Megatron-LM