Repolode
baidu-baige

baidu-baige/LoongForge

面向 NVIDIA GPU 与昆仑芯 XPU 的大模型训练框架,覆盖 LLM、VLM、扩散与具身模型。

Star
694
Fork
58
未关闭 Issue
30
最近提交
18小时前

这是什么?

LoongForge 是百度智能云百舸团队开源的训练框架,支持大语言模型、视觉语言模型、扩散模型以及 VLA、世界动作模型等具身模型的预训练、中期训练、SFT 和 LoRA。LLM、VLM 与扩散模型基于 Megatron 后端运行,具身模型则采用 torch-native 后端,支持 DDP、ZeRO-1、FSDP 和 HSDP。

项目提供了 40 多个开源模型的启动脚本与配置,并包含 Megatron 与 Hugging Face 格式之间的权重转换以及数据预处理工具。通过插件化设计同时支持 NVIDIA GPU 和昆仑芯 XPU,还包括 MoE 专家并行通信重叠、FP8 训练、上下文并行以及 VLM 各组件独立并行策略等功能。

仓库以 Python 为主,采用 Apache-2.0 许可证,提供 Docker 镜像和安装、教程文档。

核心功能

  • 01基于 Megatron 与 torch-native 双后端,覆盖 LLM、VLM、扩散与具身模型训练。
  • 02提供 40 多个开源模型的可直接运行的启动脚本与配置。
  • 03同时支持 NVIDIA GPU 与昆仑芯 XPU。
  • 04支持预训练、中期训练、SFT 和 LoRA。
  • 05包含 Megatron 与 Hugging Face 之间的权重转换及数据预处理工具。
  • 06提供 MoE 通信优化、FP8 训练和上下文并行等性能特性。

适用场景

  • 在多机 GPU 集群上预训练或微调大规模 MoE 语言模型。
  • 为视觉语言模型的 ViT 与 LLM 部分分别配置独立并行策略进行训练。
  • 基于 LIBERO 数据微调 Pi0.5 等 VLA 机器人策略。
  • 在昆仑芯 XPU 硬件上运行大模型训练任务。

使用前须知

  • 需要 NVIDIA GPU 或昆仑 XPU 硬件,不适用于其他硬件。
  • 源代码于 2026 年 4 月才公开,首个正式标签版本为 v0.1.0,项目较为年轻。

标签

常见问题

LoongForge 是什么?
面向 NVIDIA GPU 与昆仑芯 XPU 的大模型训练框架,覆盖 LLM、VLM、扩散与具身模型。 LoongForge 是百度智能云百舸团队开源的训练框架,支持大语言模型、视觉语言模型、扩散模型以及 VLA、世界动作模型等具身模型的预训练、中期训练、SFT 和 LoRA。LLM、VLM 与扩散模型基于 Megatron 后端运行,具身模型则采用 torch-native 后端,支持 DDP、ZeRO-1、FSDP 和 HSDP。
LoongForge 可以免费使用吗?用的什么许可证?
LoongForge 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
LoongForge 还在维护吗?
活跃维护中。LoongForge 最近一次提交是在 2026年10月19日。
LoongForge 适合用来做什么?
在多机 GPU 集群上预训练或微调大规模 MoE 语言模型。 为视觉语言模型的 ViT 与 LLM 部分分别配置独立并行策略进行训练。 基于 LIBERO 数据微调 Pi0.5 等 VLA 机器人策略。 在昆仑芯 XPU 硬件上运行大模型训练任务。
在哪里获取 LoongForge?
源代码和安装说明在 GitHub 上:https://github.com/baidu-baige/LoongForge

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目