baidu-baige/LoongForge

これは何？

主な機能

• 01LLM、VLM、拡散モデル、身体性モデルの学習に対応するMegatronおよびtorch-nativeバックエンド。
• 0240種類以上のオープンソースモデル向けに、すぐに使える起動スクリプトと設定ファイルを用意。
• 03NVIDIA GPUとKunlun XPUで実行可能。
• 04事前学習、中間学習、SFT、LoRAに対応。
• 05Megatron形式とHugging Face形式のチェックポイント変換、およびデータ前処理ツールを搭載。
• 06MoEの通信最適化、FP8学習、コンテキスト並列化に対応。

ユースケース

• マルチノードGPUクラスターで、大規模なMoE言語モデルを事前学習またはファインチューニングする。
• ViT部分とLLM部分で並列化設定を個別に指定し、視覚言語モデルを学習する。
• LIBEROデータを使い、Pi0.5などのVLAロボットポリシーをファインチューニングする。
• Kunlun XPUハードウェアで大規模モデルの学習ワークロードを実行する。

使う前に知っておきたいこと

• !NVIDIA GPUまたはKunlun XPUが必要なため、ほかのハードウェアは対象としていません。
• !ソースコードが公開されたのは2026年4月で、最初のタグ付きリリースもv0.1.0のため、まだ新しいプロジェクトです。

トピック

よくある質問

LoongForge とは？

Megatron-LMとtorch-nativeバックエンドを基盤に、NVIDIA GPUとKunlun XPUでLLM、VLM、拡散モデル、身体性モデルを学習するためのフレームワーク。 LoongForgeは、Baidu AI Cloud Baigeチームが開発した学習フレームワークです。LLM、視覚言語モデル、拡散モデル、VLAやworld-actionモデルなどの身体性モデルを対象に、事前学習、中間学習、SFT、LoRAに対応します。LLM、VLM、拡散モデルのワークロードにはMegatronバックエンドを使い、身体性モデルにはDDP、ZeRO-1、FSDP、HSDPに対応するtorch-nativeバックエンドを使います。

LoongForge は無料で使えますか？ライセンスは？

LoongForge は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

LoongForge は今もメンテナンスされていますか？

活発にメンテナンス中。LoongForge の最終コミットは 2026年10月19日 です。

LoongForge は何に使えますか？

マルチノードGPUクラスターで、大規模なMoE言語モデルを事前学習またはファインチューニングする。 ViT部分とLLM部分で並列化設定を個別に指定し、視覚言語モデルを学習する。 LIBEROデータを使い、Pi0.5などのVLAロボットポリシーをファインチューニングする。 Kunlun XPUハードウェアで大規模モデルの学習ワークロードを実行する。

LoongForge はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/baidu-baige/LoongForge