Python 库,逐层加载大语言模型,让 70B 级模型可在单张 4GB 显卡上推理,无需量化。
baidu-baige/LoongForge
面向 NVIDIA GPU 与昆仑芯 XPU 的大模型训练框架,覆盖 LLM、VLM、扩散与具身模型。
- Star
- 694
- Fork
- 58
- 未关闭 Issue
- 30
- 最近提交
- 18小时前
这是什么?
LoongForge 是百度智能云百舸团队开源的训练框架,支持大语言模型、视觉语言模型、扩散模型以及 VLA、世界动作模型等具身模型的预训练、中期训练、SFT 和 LoRA。LLM、VLM 与扩散模型基于 Megatron 后端运行,具身模型则采用 torch-native 后端,支持 DDP、ZeRO-1、FSDP 和 HSDP。
项目提供了 40 多个开源模型的启动脚本与配置,并包含 Megatron 与 Hugging Face 格式之间的权重转换以及数据预处理工具。通过插件化设计同时支持 NVIDIA GPU 和昆仑芯 XPU,还包括 MoE 专家并行通信重叠、FP8 训练、上下文并行以及 VLM 各组件独立并行策略等功能。
仓库以 Python 为主,采用 Apache-2.0 许可证,提供 Docker 镜像和安装、教程文档。
核心功能
- 01基于 Megatron 与 torch-native 双后端,覆盖 LLM、VLM、扩散与具身模型训练。
- 02提供 40 多个开源模型的可直接运行的启动脚本与配置。
- 03同时支持 NVIDIA GPU 与昆仑芯 XPU。
- 04支持预训练、中期训练、SFT 和 LoRA。
- 05包含 Megatron 与 Hugging Face 之间的权重转换及数据预处理工具。
- 06提供 MoE 通信优化、FP8 训练和上下文并行等性能特性。
适用场景
- 在多机 GPU 集群上预训练或微调大规模 MoE 语言模型。
- 为视觉语言模型的 ViT 与 LLM 部分分别配置独立并行策略进行训练。
- 基于 LIBERO 数据微调 Pi0.5 等 VLA 机器人策略。
- 在昆仑芯 XPU 硬件上运行大模型训练任务。
使用前须知
- 需要 NVIDIA GPU 或昆仑 XPU 硬件,不适用于其他硬件。
- 源代码于 2026 年 4 月才公开,首个正式标签版本为 v0.1.0,项目较为年轻。
标签
常见问题
- LoongForge 是什么?
- 面向 NVIDIA GPU 与昆仑芯 XPU 的大模型训练框架,覆盖 LLM、VLM、扩散与具身模型。 LoongForge 是百度智能云百舸团队开源的训练框架,支持大语言模型、视觉语言模型、扩散模型以及 VLA、世界动作模型等具身模型的预训练、中期训练、SFT 和 LoRA。LLM、VLM 与扩散模型基于 Megatron 后端运行,具身模型则采用 torch-native 后端,支持 DDP、ZeRO-1、FSDP 和 HSDP。
- LoongForge 可以免费使用吗?用的什么许可证?
- LoongForge 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
- LoongForge 还在维护吗?
- 活跃维护中。LoongForge 最近一次提交是在 2026年10月19日。
- LoongForge 适合用来做什么?
- 在多机 GPU 集群上预训练或微调大规模 MoE 语言模型。 为视觉语言模型的 ViT 与 LLM 部分分别配置独立并行策略进行训练。 基于 LIBERO 数据微调 Pi0.5 等 VLA 机器人策略。 在昆仑芯 XPU 硬件上运行大模型训练任务。
- 在哪里获取 LoongForge?
- 源代码和安装说明在 GitHub 上:https://github.com/baidu-baige/LoongForge
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
3.9万4026Jupyter NotebookApache-2.0更新于 昨天
在家用 NVIDIA 或 AMD 显卡上本地运行大参数 Qwen3.8-Flash-Next 模型的推理引擎,提供兼容 OpenAI 与 Anthropic 的本地 API。
2.8万3010C++MIT更新于 18小时前
一款命令行工具,自动检测 GPU、CPU 和内存,从 HuggingFace 上挑选真正能在你的机器上运行、且表现最好的本地大模型。
6767373PythonMIT更新于 昨天
一个 9B 参数的开源多模态大模型,面向视觉理解、空间推理、智能体工具调用和具身智能研究。
3076540PythonApache-2.0更新于 上个月
面向多模态模型的统一训练引擎,支持 VLM、扩散模型和 LLM 训练。
83238Python无许可证更新于 前天
在 12 GB 显存的 RTX 4070 上部署 Mirai S 27B 模型,支持完整 262k 上下文窗口。
10110PythonOther更新于 7小时前