面向大模型分布式训练与推理的深度学习优化库,提升效率并降低使用门槛。
4.3万5048PythonApache-2.0更新于 前天
基于 PyTorch 的大模型分布式训练与推理系统,提供并行策略和显存优化等能力。
Colossal-AI 是一个面向大模型训练与推理的深度学习系统,目标是降低大模型的训练成本并简化扩展。开发者可以像在单卡上编写模型一样编写代码,再通过配置文件和少量代码启用数据并行、流水线并行、一维到三维张量并行、序列并行、ZeRO 以及自动并行等策略。
项目还包含异构显存管理能力,可将部分数据卸载到 CPU 或 NVMe 等存储上,使模型能在显存有限的硬件上训练。仓库中提供了 LLaMA、GPT、BERT、ViT、MoE 等模型的训练示例,以及推理组件和对话、扩散模型、蛋白质结构预测等应用案例。
项目可通过 PyPI 或源码安装,目前仅支持 Linux 系统,需要 NVIDIA GPU 与 CUDA 环境,也提供 Docker 镜像。
参阅安装部分中的 PyPI 或源码安装方式
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
面向大模型分布式训练与推理的深度学习优化库,提升效率并降低使用门槛。
FlashAttention 官方实现,一种节省显存的精确注意力计算内核,用于 GPU 上 Transformer 模型的训练与推理。
基于 PyTorch 和 Triton 的开源大语言模型训练库,支持 3D 并行与 ZeRO 显存优化。
配套《从零构建大语言模型》一书的代码,用 PyTorch 分步实现类 GPT 的大语言模型。
一本开源的大语言模型与多模态模型训练、微调及推理工程实践手册,附带大量脚本和命令。
MNN 是阿里巴巴开源的轻量级深度学习推理与训练引擎,适用于移动端、嵌入式设备及端侧大模型部署。