Repolode
提交项目
deepspeedai

deepspeedai/DeepSpeed

面向大模型分布式训练与推理的深度学习优化库，提升效率并降低使用门槛。

在 GitHub 查看官网
Star
43,247
Fork
5,048
未关闭 Issue
1,540
最近提交
昨天

这是什么？

DeepSpeed 是基于 PyTorch 的库，用于在多块 GPU 上训练和推理大型深度学习模型。它提供 ZeRO 显存切分、ZeRO-Infinity（可将数据卸载到 CPU 和 NVMe）、结合数据、张量和流水线并行的 3D 并行，以及面向长序列的 Ulysses 序列并行等系统级技术。

该库还包含面向混合专家（MoE）模型的 DeepSpeed-MoE、压缩与量化工具以及推理引擎。可通过 pip 安装，C++/CUDA 扩展在运行时即时编译。项目支持 NVIDIA 和 AMD GPU，并覆盖 Intel Gaudi、Intel XPU、CPU 以及华为昇腾 NPU 等硬件。

DeepSpeed 可与 Hugging Face Transformers 和 Accelerate、PyTorch Lightning、MosaicML Composer 等训练框架集成。

核心功能

  • 01ZeRO 显存优化，将优化器状态、梯度和参数切分到多块 GPU 上。
  • 02ZeRO-Infinity 支持将数据卸载到 CPU 内存和 NVMe 存储。
  • 03结合数据、张量和流水线的 3D 并行。
  • 04通过 DeepSpeed-MoE 支持混合专家模型的训练与推理。
  • 05提供压缩与量化工具，用于减小模型体积并提升速度。
  • 06可与 Hugging Face Transformers、Accelerate 和 PyTorch Lightning 集成。

适用场景

  • 在多 GPU 集群上训练数十亿参数级别的语言模型。
  • 对单块 GPU 显存放不下的模型进行推理。
  • 利用序列并行训练超长输入序列。
  • 为现有 PyTorch 训练流程加入显存卸载能力。

快速上手

  1. 1

    先安装 PyTorch(必须在 DeepSpeed 之前安装)

  2. 2

    从 PyPI 安装 DeepSpeed

    pip install deepspeed

使用前须知

  • 安装 DeepSpeed 前需先安装 PyTorch,并需要 CUDA 或 ROCm 编译器来构建其 C++/CUDA 扩展。
  • 官方测试最充分的硬件为 NVIDIA Pascal 至 Hopper 架构及 AMD MI100/MI200 GPU,其他硬件支持可能较弱。
  • 面向大规模分布式训练的功能主要针对多 GPU 环境,配置复杂度较高。

标签

#deep-learning#distributed-training#pytorch#gpu#model-parallelism#inference#llm#mixture-of-experts#billion-parameters#compression

常见问题

DeepSpeed 是什么？
面向大模型分布式训练与推理的深度学习优化库，提升效率并降低使用门槛。 DeepSpeed 是基于 PyTorch 的库，用于在多块 GPU 上训练和推理大型深度学习模型。它提供 ZeRO 显存切分、ZeRO-Infinity（可将数据卸载到 CPU 和 NVMe）、结合数据、张量和流水线并行的 3D 并行，以及面向长序列的 Ulysses 序列并行等系统级技术。
DeepSpeed 可以免费使用吗？用的什么许可证？
DeepSpeed 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
DeepSpeed 还在维护吗？
活跃维护中。DeepSpeed 最近一次提交是在 2026年10月19日。
DeepSpeed 适合用来做什么？
在多 GPU 集群上训练数十亿参数级别的语言模型。 对单块 GPU 显存放不下的模型进行推理。 利用序列并行训练超长输入序列。 为现有 PyTorch 训练流程加入显存卸载能力。
DeepSpeed 怎么安装和运行？
先安装 PyTorch(必须在 DeepSpeed 之前安装) 从 PyPI 安装 DeepSpeed: pip install deepspeed
在哪里获取 DeepSpeed？
源代码和安装说明在 GitHub 上：https://github.com/deepspeedai/DeepSpeed

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目