ServiceNow/Fast-LLM

这是什么？

核心功能

• 01支持数据、张量和流水线的 3D 并行训练。
• 02实现 ZeRO-1、ZeRO-2 和 ZeRO-3 显存优化。
• 03提供无丢弃的混合专家（MoE）实现。
• 04支持混合精度训练和梯度累积。
• 05通过 YAML 配置文件和命令行工具启动训练。
• 06可与 Hugging Face Transformers 集成。

适用场景

• 在由 Slurm 管理的多节点 GPU 集群上预训练类 Mistral 或 GPT 架构的模型。
• 基于 KubeFlow 的 PyTorchJob 在 Kubernetes 上运行大规模 LLM 训练任务。
• 使用 Apache 2.0 许可的开源代码训练自定义 MoE 模型。

快速上手

1. 1

   在所有节点上部署 nvcr.io/nvidia/pytorch:25.11-py3 Docker 镜像（推荐）

2. 2

   在所有节点上用 pip 安装 Fast-LLM

   pip install --no-cache-dir "fast-llm[CORE,OPTIONAL] @ git+https://github.com/ServiceNow/Fast-LLM.git"
3. 3

   将示例 Slurm 作业脚本提交到集群

   sbatch examples/fast-llm.sbat

使用前须知

• !文档中的训练规模需要多节点 GPU 集群，例如每个节点配 8 张 A100 或 H100。
• !需要 CUDA 12.1 或更高版本，并且每个节点都要安装 PyTorch、Triton 和 Apex。
• !README 表明部分功能（如可自定义优化器和教程）仍在开发中。

标签

常见问题

Fast-LLM 是什么？

基于 PyTorch 和 Triton 的开源大语言模型训练库，支持 3D 并行与 ZeRO 显存优化。 Fast-LLM 是一个用于训练大语言模型的开源库，基于 PyTorch 和 Triton 构建。它面向从约 10 亿参数到 700 亿参数以上的模型训练，可以在单张 GPU 到多节点集群上运行，并支持通过 Slurm 或基于 KubeFlow 的 Kubernetes 集群启动任务。

Fast-LLM 可以免费使用吗？用的什么许可证？

Fast-LLM 以 Other 许可证开源。用于商业产品前，请先确认许可证条款。

Fast-LLM 还在维护吗？

活跃维护中。Fast-LLM 最近一次提交是在 2026年10月15日。

Fast-LLM 适合用来做什么？

在由 Slurm 管理的多节点 GPU 集群上预训练类 Mistral 或 GPT 架构的模型。 基于 KubeFlow 的 PyTorchJob 在 Kubernetes 上运行大规模 LLM 训练任务。 使用 Apache 2.0 许可的开源代码训练自定义 MoE 模型。

Fast-LLM 怎么安装和运行？

在所有节点上部署 nvcr.io/nvidia/pytorch:25.11-py3 Docker 镜像（推荐） 在所有节点上用 pip 安装 Fast-LLM: pip install --no-cache-dir "fast-llm[CORE,OPTIONAL] @ git+https://github.com/ServiceNow/Fast-LLM.git" 将示例 Slurm 作业脚本提交到集群: sbatch examples/fast-llm.sbat

在哪里获取 Fast-LLM？

源代码和安装说明在 GitHub 上：https://github.com/ServiceNow/Fast-LLM