基于 PyTorch 的大模型分布式训练与推理系统,提供并行策略和显存优化等能力。
Lightning-AI/pytorch-lightning
基于 PyTorch 的深度学习框架,自动处理训练循环、多 GPU 扩展等工程代码,同时保留模型逻辑的完全控制。
- Star
- 31,445
- Fork
- 3,849
- 未关闭 Issue
- 1,210
- 最近提交
- 8天前
这是什么?
PyTorch Lightning 是用于预训练和微调 PyTorch 模型的框架。用户将模型逻辑写在 LightningModule 中,由 Trainer 负责反向传播、混合精度、设备调度以及在 CPU、GPU、TPU 和多节点上的分布式训练。切换硬件时通常只需修改 Trainer 的几个参数,代码无需大改。
项目同时包含 Lightning Fabric,适合希望保留自定义训练循环的用户。它提供设备管理,并支持 DDP、FSDP、DeepSpeed 等分布式策略。内置功能包括模型检查点、早停,以及与 TensorBoard、Weights & Biases、MLflow 等工具的日志集成,还支持导出为 TorchScript 和 ONNX。
仓库提供快速上手示例,以及涵盖图像分类、分割、目标检测、LLM 微调和扩散模型等任务的示例集合。
核心功能
- 01Trainer 可将同一份代码从单 CPU 或单 GPU 扩展到多节点集群。
- 02支持 TPU、混合精度,以及 DDP、FSDP、DeepSpeed 等分布式策略。
- 03Lightning Fabric 让用户在自定义训练循环中保留完整控制权。
- 04内置模型检查点、早停和多种日志工具集成。
- 05支持将模型导出为 TorchScript 和 ONNX 格式。
适用场景
- 在 PyTorch 中训练或微调深度学习模型,减少重复的训练样板代码。
- 将已有的 PyTorch 训练脚本迁移到多 GPU 或 TPU 上运行。
- 基于分布式与混合精度组件构建自定义训练循环。
- 结合实验追踪工具进行可复现的实验。
快速上手
- 1
使用 pip 安装 Lightning
pip install lightning - 2
安装示例所需的 torchvision
pip install torchvision - 3
将示例保存为 main.py 并运行
python main.py
收录于专题
标签
常见问题
- pytorch-lightning 是什么?
- 基于 PyTorch 的深度学习框架,自动处理训练循环、多 GPU 扩展等工程代码,同时保留模型逻辑的完全控制。 PyTorch Lightning 是用于预训练和微调 PyTorch 模型的框架。用户将模型逻辑写在 LightningModule 中,由 Trainer 负责反向传播、混合精度、设备调度以及在 CPU、GPU、TPU 和多节点上的分布式训练。切换硬件时通常只需修改 Trainer 的几个参数,代码无需大改。
- pytorch-lightning 可以免费使用吗?用的什么许可证?
- pytorch-lightning 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
- pytorch-lightning 还在维护吗?
- 活跃维护中。pytorch-lightning 最近一次提交是在 2026年10月30日。
- pytorch-lightning 适合用来做什么?
- 在 PyTorch 中训练或微调深度学习模型,减少重复的训练样板代码。 将已有的 PyTorch 训练脚本迁移到多 GPU 或 TPU 上运行。 基于分布式与混合精度组件构建自定义训练循环。 结合实验追踪工具进行可复现的实验。
- pytorch-lightning 怎么安装和运行?
- 使用 pip 安装 Lightning: pip install lightning 安装示例所需的 torchvision: pip install torchvision 将示例保存为 main.py 并运行: python main.py
- 在哪里获取 pytorch-lightning?
- 源代码和安装说明在 GitHub 上:https://github.com/Lightning-AI/pytorch-lightning
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
面向大模型分布式训练与推理的深度学习优化库,提升效率并降低使用门槛。
微软开源的 MoE(混合专家)优化库,基于 PyTorch 训练和推理 MoE 模型,支持 DeepSeek、Qwen、GLM 等模型的低精度推理。
一个轻量的函数式深度学习库,用类型检查的 API 组合模型,并可封装 PyTorch、TensorFlow 和 MXNet 的层。
用于将 AI/ML 模型打包并部署到 Baseten 或自有基础设施的命令行与 Python 工具。
Ray 是一个统一的框架,可将 Python 和 AI 应用从笔记本扩展到集群运行。