Repolode
hpcaitech

hpcaitech/ColossalAI

基于 PyTorch 的大模型分布式训练与推理系统,提供并行策略和显存优化等能力。

Star
41,432
Fork
4,486
未关闭 Issue
479
最近提交
8小时前

这是什么?

Colossal-AI 是一个面向大模型训练与推理的深度学习系统,目标是降低大模型的训练成本并简化扩展。开发者可以像在单卡上编写模型一样编写代码,再通过配置文件和少量代码启用数据并行、流水线并行、一维到三维张量并行、序列并行、ZeRO 以及自动并行等策略。

项目还包含异构显存管理能力,可将部分数据卸载到 CPU 或 NVMe 等存储上,使模型能在显存有限的硬件上训练。仓库中提供了 LLaMA、GPT、BERT、ViT、MoE 等模型的训练示例,以及推理组件和对话、扩散模型、蛋白质结构预测等应用案例。

项目可通过 PyPI 或源码安装,目前仅支持 Linux 系统,需要 NVIDIA GPU 与 CUDA 环境,也提供 Docker 镜像。

核心功能

  • 01支持数据并行、流水线并行、一维到三维张量并行及序列并行
  • 02提供 ZeRO 与自动并行策略
  • 03异构显存管理,可将数据卸载到 GPU 显存之外
  • 04通过配置文件启用并行,代码改动较少
  • 05包含大语言模型与扩散模型的推理组件和应用示例

适用场景

  • 在多卡或多节点上训练大语言模型
  • 在显存有限的 GPU 上微调或预训练大模型
  • 使用优化后的推理组件运行大语言模型
  • 复现 LLaMA、GPT 或扩散模型的训练示例

快速上手

  1. 1

    参阅安装部分中的 PyPI 或源码安装方式

使用前须知

  • 它的功能面向大模型和多 GPU 训练,没有 GPU 时收益有限。

标签

常见问题

ColossalAI 是什么?
基于 PyTorch 的大模型分布式训练与推理系统,提供并行策略和显存优化等能力。 Colossal-AI 是一个面向大模型训练与推理的深度学习系统,目标是降低大模型的训练成本并简化扩展。开发者可以像在单卡上编写模型一样编写代码,再通过配置文件和少量代码启用数据并行、流水线并行、一维到三维张量并行、序列并行、ZeRO 以及自动并行等策略。
ColossalAI 可以免费使用吗?用的什么许可证?
ColossalAI 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
ColossalAI 还在维护吗?
活跃维护中。ColossalAI 最近一次提交是在 2026年10月21日。
ColossalAI 适合用来做什么?
在多卡或多节点上训练大语言模型 在显存有限的 GPU 上微调或预训练大模型 使用优化后的推理组件运行大语言模型 复现 LLaMA、GPT 或扩散模型的训练示例
ColossalAI 怎么安装和运行?
参阅安装部分中的 PyPI 或源码安装方式
在哪里获取 ColossalAI?
源代码和安装说明在 GitHub 上:https://github.com/hpcaitech/ColossalAI

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目