NVIDIA/Megatron-LM

Что это?

Ключевые возможности

• 01Тензорный, конвейерный, дата-, экспертный и контекстный параллелизм для масштабирования на нескольких GPU.
• 02Обучение в смешанной точности с FP16, BF16, FP8 и FP4.
• 03Компонуемые компоненты трансформеров и архитектуры моделей для создания собственных фреймворков.
• 04Готовые скрипты обучения и примеры для исследований.
• 05Преобразование чекпойнтов между форматами Hugging Face и Megatron с помощью Megatron Bridge.

Сценарии использования

• Обучение крупных языковых моделей на множестве GPU с многомерным параллелизмом.
• Создание собственного распределённого конвейера обучения на базе оптимизированных для GPU компонентов.
• Проведение исследовательских экспериментов по обучению трансформеров с помощью готовых скриптов.
• Преобразование чекпойнтов между форматами Hugging Face и Megatron.

Быстрый старт

1. 1

   Установите Megatron Core из PyPI

   uv pip install megatron-core
2. 2

   Или клонируйте репозиторий и установите программу из исходного кода

   git clone https://github.com/NVIDIA/Megatron-LM.git && cd Megatron-LM && uv pip install -e .
3. 3

   Следуйте официальному руководству «Your First Training Run», чтобы подготовить данные и ознакомиться с примерами обучения

Что важно знать

• !Для обучения больших моделей требуются графические процессоры NVIDIA и значительные ресурсы кластера.
• !Сборка из исходного кода может потребовать много памяти; для ограничения числа задач компиляции может понадобиться параметр MAX_JOBS.
• !Некоторые функции, например ветка dev, являются экспериментальными.
• !В метаданных лицензия указана как NOASSERTION, поэтому перед использованием проверьте файл LICENSE.

Темы

Частые вопросы

Что такое Megatron-LM?

Оптимизированная для GPU библиотека и эталонные скрипты для обучения крупных трансформерных моделей с многомерным параллелизмом. Megatron-LM — фреймворк NVIDIA для масштабного обучения трансформерных моделей на множестве GPU. Репозиторий состоит из двух частей: Megatron Core — компонуемая библиотека оптимизированных для GPU компонентов для создания собственных фреймворков обучения, и Megatron-LM — эталонный пример на базе Megatron Core с готовыми скриптами обучения для исследований и экспериментов.

Megatron-LM можно использовать бесплатно? Какая у него лицензия?

Megatron-LM распространяется с открытым исходным кодом под лицензией Other. Перед использованием в коммерческих продуктах проверьте условия лицензии.

Megatron-LM всё ещё поддерживается?

Активно поддерживается. Последний коммит в Megatron-LM — 20 окт. 2026 г..

Для чего можно использовать Megatron-LM?

Обучение крупных языковых моделей на множестве GPU с многомерным параллелизмом. Создание собственного распределённого конвейера обучения на базе оптимизированных для GPU компонентов. Проведение исследовательских экспериментов по обучению трансформеров с помощью готовых скриптов. Преобразование чекпойнтов между форматами Hugging Face и Megatron.

Как установить Megatron-LM?

Установите Megatron Core из PyPI: uv pip install megatron-core Или клонируйте репозиторий и установите программу из исходного кода: git clone https://github.com/NVIDIA/Megatron-LM.git && cd Megatron-LM && uv pip install -e . Следуйте официальному руководству «Your First Training Run», чтобы подготовить данные и ознакомиться с примерами обучения

Где скачать Megatron-LM?

Исходный код и инструкции по установке — на GitHub: https://github.com/NVIDIA/Megatron-LM