EvolvingLMMs-Lab/lmms-engine

这是什么？

核心功能

• 01支持 FSDP2、张量并行、Ulysses 序列并行和专家并行等分布式训练方式。
• 02内置 Muon 优化器，使用 Newton-Schulz 正交化与 Triton 内核。
• 03提供序列 packing 与 Flash Attention 去 padding，减少无效计算。
• 04集成 Liger 融合算子，包括 CrossEntropy、RMSNorm、RoPE 和 SwiGLU。
• 05通过注册装饰器扩展自定义模型、数据集和处理器。
• 06附带多种 VLM、MoE 和扩散模型的示例配置与运行脚本。

适用场景

• 在大规模多模态数据集上预训练或微调 Qwen-VL、LLaVA 等视觉语言模型。
• 在多卡集群上训练 WanVideo、SiT 等扩散或视频生成模型。
• 借助序列 packing 与序列并行进行长上下文多模态微调。
• 使用专家并行实验混合专家（MoE）模型。

快速上手

1. 1

   克隆仓库

   git clone https://github.com/EvolvingLMMs-Lab/lmms-engine.git
2. 2

   进入项目目录

   cd lmms-engine
3. 3

   安装可编辑版本（含全部额外依赖）

   uv pip install -e ".[all]"
4. 4

   在单张 GPU 上启动训练

   python -m lmms_engine.launch.cli config_yaml=examples/qwen3_vl/example_config.yaml

使用前须知

• !README 未明确许可证，徽章指向 Apache 2.0，使用前请核实 LICENSE 文件。
• !完整训练示例假设多 GPU 环境，部分功能（如 FlashAttention 和 NSA）需要额外安装。

标签

常见问题

lmms-engine 是什么？

面向多模态模型的统一训练引擎，支持 VLM、扩散模型和 LLM 训练。 LMMs Engine 是一个面向多模态模型的 Python 训练框架，适合希望通过同一套配置化流程预训练或微调视觉语言模型、图像音频文本全模态模型、扩散模型和语言模型的开发者。项目可通过 torchrun、Accelerate 或单卡方式启动。

lmms-engine 可以免费使用吗？用的什么许可证？

lmms-engine 没有声明许可证。代码虽然公开，但没有许可证就没有明确的使用授权，正式使用前建议先联系作者。

lmms-engine 还在维护吗？

活跃维护中。lmms-engine 最近一次提交是在 2026年10月18日。

lmms-engine 适合用来做什么？

在大规模多模态数据集上预训练或微调 Qwen-VL、LLaVA 等视觉语言模型。 在多卡集群上训练 WanVideo、SiT 等扩散或视频生成模型。 借助序列 packing 与序列并行进行长上下文多模态微调。 使用专家并行实验混合专家（MoE）模型。

lmms-engine 怎么安装和运行？

克隆仓库: git clone https://github.com/EvolvingLMMs-Lab/lmms-engine.git 进入项目目录: cd lmms-engine 安装可编辑版本（含全部额外依赖）: uv pip install -e ".[all]" 在单张 GPU 上启动训练: python -m lmms_engine.launch.cli config_yaml=examples/qwen3_vl/example_config.yaml

在哪里获取 lmms-engine？

源代码和安装说明在 GitHub 上：https://github.com/EvolvingLMMs-Lab/lmms-engine