Repolode
投稿する
hpcaitech

hpcaitech/ColossalAI

大規模AIモデル向けのPyTorchベースの分散学習・推論システムで、並列化、メモリ最適化、異種ハードウェアでの学習を実現します。

GitHub で見る公式サイト
スター
41,432
フォーク
4,486
未解決の Issue
479
最終コミット
9 時間前

これは何？

Colossal-AIは、大規模モデルの学習と推論を低コストでスケールしやすくすることを目指したディープラーニングシステムです。開発者は単一デバイス向けのモデルコードを記述し、設定ファイルと数行のコードで、データ並列、パイプライン並列、1D/2D/2.5D/3Dテンソル並列、シーケンス並列に加え、ZeROや自動並列化を適用できます。

このプロジェクトでは、PatrickStar方式のオフロードなど、異種メモリ管理にも対応しており、GPUメモリが限られたハードウェアでモデルを学習できます。リポジトリには、LLaMA、GPT、BERT、ViT、MoEなどのモデル向け学習スクリプトのほか、推論コンポーネントや、チャット、diffusion、タンパク質構造モデルなどのアプリケーション例が含まれています。

PyPIまたはソースからインストールでき、対応OSはLinuxです。NVIDIA GPUとCUDAが必要です。Dockerイメージも提供されています。

主な機能

  • 01分散学習向けのデータ並列、パイプライン並列、テンソル並列（1D/2D/2.5D/3D）、シーケンス並列
  • 02ZeROおよび自動並列化の戦略
  • 03GPUメモリに収まらないデータをオフロードする異種メモリ管理
  • 04設定ファイルを使い、コード変更を最小限に抑えて並列化を設定
  • 05LLMやdiffusionモデル向けの推論コンポーネントとアプリケーション例

ユースケース

  • 複数のGPUまたはノードにまたがる大規模言語モデルの学習
  • GPUメモリが限られた環境での大規模モデルのファインチューニングや事前学習
  • メモリ使用量とスループットを最適化したLLM推論の実行
  • LLaMA、GPT、diffusionモデルなどの学習パイプライン例の再現

クイックスタート

  1. 1

    PyPIからのインストール方法、またはソースからインストールする方法については、Installationセクションをご覧ください

使う前に知っておきたいこと

  • 大規模モデルとマルチGPU学習を対象とした機能のため、GPUがない環境ではあまりメリットがありません。

トピック

#deep-learning#distributed-training#model-parallelism#pipeline-parallelism#pytorch#llm#gpu#ai#big-model#data-parallelism

よくある質問

ColossalAI とは？
大規模AIモデル向けのPyTorchベースの分散学習・推論システムで、並列化、メモリ最適化、異種ハードウェアでの学習を実現します。 Colossal-AIは、大規模モデルの学習と推論を低コストでスケールしやすくすることを目指したディープラーニングシステムです。開発者は単一デバイス向けのモデルコードを記述し、設定ファイルと数行のコードで、データ並列、パイプライン並列、1D/2D/2.5D/3Dテンソル並列、シーケンス並列に加え、ZeROや自動並列化を適用できます。
ColossalAI は無料で使えますか？ライセンスは？
ColossalAI は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
ColossalAI は今もメンテナンスされていますか？
活発にメンテナンス中。ColossalAI の最終コミットは 2026年10月21日 です。
ColossalAI は何に使えますか？
複数のGPUまたはノードにまたがる大規模言語モデルの学習 GPUメモリが限られた環境での大規模モデルのファインチューニングや事前学習 メモリ使用量とスループットを最適化したLLM推論の実行 LLaMA、GPT、diffusionモデルなどの学習パイプライン例の再現
ColossalAI のインストール方法は？
PyPIからのインストール方法、またはソースからインストールする方法については、Installationセクションをご覧ください
ColossalAI はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/hpcaitech/ColossalAI

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト