baidu-baige/LoongForge

Что это?

Ключевые возможности

• 01Бэкенды Megatron и нативный для torch бэкенд для обучения LLM, VLM, диффузионных моделей и моделей с воплощённым интеллектом.
• 02Готовые к запуску скрипты и конфигурации для более чем 40 моделей с открытым исходным кодом.
• 03Работает на NVIDIA GPU и Kunlun XPU.
• 04Поддерживает предварительное и промежуточное обучение, SFT и LoRA.
• 05Включает инструменты преобразования чекпойнтов между Megatron и Hugging Face, а также предварительной обработки данных.
• 06Предлагает оптимизацию коммуникаций MoE, обучение в формате FP8 и параллелизм по контексту.

Сценарии использования

• Предварительное обучение или дообучение большой языковой модели MoE на мног узловом GPU-кластере.
• Обучение vision-language модели с независимыми настройками параллелизма для частей ViT и LLM.
• Дообучение роботизированных политик VLA, например Pi0.5, на данных LIBERO.
• Запуск задач обучения больших моделей на оборудовании Kunlun XPU.

Что важно знать

• !Для работы требуются GPU NVIDIA или XPU Kunlun, поэтому проект не рассчитан на другое оборудование.
• !Исходный код был открыт только в апреле 2026 года, а первый релиз с тегом — v0.1.0, поэтому проект ещё новый.

Темы

Частые вопросы

Что такое LoongForge?

Фреймворк для обучения LLM, VLM, диффузионных моделей и моделей с воплощённым интеллектом на NVIDIA GPU и Kunlun XPU, построенный на Megatron-LM и нативных для torch бэкендах. LoongForge — фреймворк команды Baige из Baidu AI Cloud для предварительного обучения, промежуточного обучения, SFT и LoRA моделей LLM, vision-language, диффузионных моделей и моделей с воплощённым интеллектом, таких как VLA и world-action модели. Для задач LLM, VLM и диффузионных моделей используется бэкенд Megatron, а модели с воплощённым интеллектом работают на нативном для torch бэкенде с DDP, ZeRO-1, FSDP и HSDP.

LoongForge можно использовать бесплатно? Какая у него лицензия?

LoongForge распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

LoongForge всё ещё поддерживается?

Активно поддерживается. Последний коммит в LoongForge — 19 окт. 2026 г..

Для чего можно использовать LoongForge?

Предварительное обучение или дообучение большой языковой модели MoE на мног узловом GPU-кластере. Обучение vision-language модели с независимыми настройками параллелизма для частей ViT и LLM. Дообучение роботизированных политик VLA, например Pi0.5, на данных LIBERO. Запуск задач обучения больших моделей на оборудовании Kunlun XPU.

Где скачать LoongForge?

Исходный код и инструкции по установке — на GitHub: https://github.com/baidu-baige/LoongForge