ServiceNow/Fast-LLM

これは何？

主な機能

• 01データ、テンソル、パイプラインによる3D並列処理を使った分散学習。
• 02メモリ最適化のためのZeRO-1、ZeRO-2、ZeRO-3。
• 03トークンをドロップしないMixture-of-Experts（MoE）実装。
• 04混合精度学習と勾配累積。
• 05YAMLベースの設定とコマンドラインインターフェース。
• 06Hugging Face Transformersとの連携。

ユースケース

• Slurmで管理されるマルチノードGPUクラスターで、Mistral系またはGPT系モデルを事前学習する。
• KubeFlow PyTorchJobを使って、Kubernetes上で大規模なLLM学習ジョブを実行する。
• Apache 2.0ライセンスのオープンソースコードベースを使って、カスタムMoEモデルを学習する。

クイックスタート

1. 1

   nvcr.io/nvidia/pytorch:25.11-py3 Docker イメージをすべてのノードにデプロイします（推奨）

2. 2

   pip を使って Fast-LLM をすべてのノードにインストールします

   pip install --no-cache-dir "fast-llm[CORE,OPTIONAL] @ git+https://github.com/ServiceNow/Fast-LLM.git"
3. 3

   サンプルの Slurm ジョブスクリプトをクラスターに送信します

   sbatch examples/fast-llm.sbat

使う前に知っておきたいこと

• !掲載されている規模でトレーニングするには、各ノードに A100 または H100 GPU を 8 基搭載した 4 ノード構成などのマルチノード GPU クラスターが必要です。
• !すべてのノードに CUDA 12.1 以降と、PyTorch、Triton、Apex がインストールされている必要があります。
• !README によると、カスタマイズ可能なオプティマイザーやチュートリアルなど、一部の機能はまだ開発中です。

トピック

よくある質問

Fast-LLM とは？

PyTorchとTritonを基盤に、3D並列処理、ZeROによるメモリ最適化、Hugging Face連携を備えた大規模言語モデルの学習用オープンソースライブラリ。 Fast-LLMは、PyTorchとTritonを基盤とする大規模言語モデル学習用のオープンソースライブラリです。約10億パラメータのモデルから、700億超のパラメータを持つモデルを学習するクラスターまでを対象とし、単一GPUから、SlurmまたはKubeFlowを使ったKubernetesで管理されるマルチノードクラスターまで対応します。

Fast-LLM は無料で使えますか？ライセンスは？

Fast-LLM は Other ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

Fast-LLM は今もメンテナンスされていますか？

活発にメンテナンス中。Fast-LLM の最終コミットは 2026年10月15日 です。

Fast-LLM は何に使えますか？

Slurmで管理されるマルチノードGPUクラスターで、Mistral系またはGPT系モデルを事前学習する。 KubeFlow PyTorchJobを使って、Kubernetes上で大規模なLLM学習ジョブを実行する。 Apache 2.0ライセンスのオープンソースコードベースを使って、カスタムMoEモデルを学習する。

Fast-LLM のインストール方法は？

nvcr.io/nvidia/pytorch:25.11-py3 Docker イメージをすべてのノードにデプロイします（推奨） pip を使って Fast-LLM をすべてのノードにインストールします: pip install --no-cache-dir "fast-llm[CORE,OPTIONAL] @ git+https://github.com/ServiceNow/Fast-LLM.git" サンプルの Slurm ジョブスクリプトをクラスターに送信します: sbatch examples/fast-llm.sbat

Fast-LLM はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/ServiceNow/Fast-LLM