EvolvingLMMs-Lab/lmms-engine

Что это?

Ключевые возможности

• 01Распределённое обучение с FSDP2, параллелизмом по тензорам, параллелизмом последовательностей Ulysses и параллелизмом по экспертам для MoE-моделей.
• 02Упаковка последовательностей с алгоритмом bin packing first-fit и Flash Attention без padding.
• 03Ядра Liger Triton для объединённых операций CrossEntropy, RMSNorm, RoPE и SwiGLU.
• 04Оптимизатор Muon с ортогонализацией Newton-Schulz в сочетании с Adam для остальных параметров.
• 05Конфигурации обучения на основе YAML, запуск через torchrun, Accelerate или на одной GPU.
• 06Расширяемые реестры моделей, датасетов и процессоров.

Сценарии использования

• Предварительное обучение или supervised fine-tuning моделей в стиле Qwen-VL на больших мультимодальных датасетах.
• Обучение мультимодальных моделей Mixture-of-Experts с параллелизмом по экспертам на нескольких GPU.
• Эксперименты с моделями генерации видео и изображений на основе diffusion или flow matching, например WanVideo или SiT.
• Предварительное обучение языковых моделей с оптимизатором Muon и потоковыми датасетами.

Темы

Частые вопросы

Что такое lmms-engine?

Единый движок для обучения мультимодальных моделей с поддержкой архитектур vision-language, diffusion и MoE, а также FSDP2, Muon и ядер Liger. LMMs Engine — Python-фреймворк для обучения мультимодальных моделей. Он рассчитан на исследователей и инженеров, которым нужно предварительно обучать или дообучать модели vision-language, audio-language, diffusion и языковые модели в рамках одной кодовой базы. Параметры запусков обучения задаются в YAML-файлах, а запускать их можно через torchrun, Accelerate или команду для одной GPU.

lmms-engine можно использовать бесплатно? Какая у него лицензия?

У lmms-engine не указана лицензия. Код открыт, но без лицензии нет явного разрешения на его использование — уточните у автора, прежде чем на него полагаться.

lmms-engine всё ещё поддерживается?

Активно поддерживается. Последний коммит в lmms-engine — 18 окт. 2026 г..

Для чего можно использовать lmms-engine?

Предварительное обучение или supervised fine-tuning моделей в стиле Qwen-VL на больших мультимодальных датасетах. Обучение мультимодальных моделей Mixture-of-Experts с параллелизмом по экспертам на нескольких GPU. Эксперименты с моделями генерации видео и изображений на основе diffusion или flow matching, например WanVideo или SiT. Предварительное обучение языковых моделей с оптимизатором Muon и потоковыми датасетами.

Где скачать lmms-engine?

Исходный код и инструкции по установке — на GitHub: https://github.com/EvolvingLMMs-Lab/lmms-engine