Biblioteca de otimização de deep learning que facilita e torna mais eficiente o treinamento distribuído e a inferência de modelos grandes.
43,2 mil5 milPythonApache-2.0Atualizado ontem
NVIDIA/Megatron-LM
Biblioteca otimizada para GPU e scripts de referência para treinar grandes modelos transformer com paralelismo multidimensional.
- Estrelas
- 18,209
- Forks
- 4,645
- Issues abertas
- 1,657
- Último commit
- há 10 horas
O que é?
Megatron-LM é o framework da NVIDIA para treinar modelos transformer em larga escala, usando muitas GPUs. O repositório contém duas partes: Megatron Core, uma biblioteca componível de blocos básicos otimizados para GPU, usada para criar frameworks de treinamento personalizados, e Megatron-LM, um exemplo de referência baseado no Megatron Core que inclui scripts de treinamento pré-configurados para pesquisa e experimentação.
O Megatron Core oferece paralelismo de tensor, pipeline, dados, especialistas e contexto, além de suporte a precisão mista em FP16, BF16, FP8 e FP4. Ele inclui blocos básicos de transformer e arquiteturas de modelos. O Megatron Bridge, um projeto separado, faz a conversão entre checkpoints do Hugging Face e do Megatron.
O projeto pode ser instalado pelo PyPI como megatron-core ou a partir do código-fonte e inclui documentação sobre instalação, primeiras execuções de treinamento e estratégias de paralelismo.
Recursos principais
- 01Paralelismo de tensor, pipeline, dados, especialistas e contexto para escalar o treinamento entre GPUs.
- 02Treinamento com precisão mista em FP16, BF16, FP8 e FP4.
- 03Blocos básicos componíveis de transformer e arquiteturas de modelos para frameworks personalizados.
- 04Scripts de treinamento pré-configurados e exemplos para pesquisa.
- 05Conversão de checkpoints entre os formatos Hugging Face e Megatron usando o Megatron Bridge.
Casos de uso
- Treinar grandes modelos de linguagem em muitas GPUs com paralelismo multidimensional.
- Criar um pipeline personalizado de treinamento distribuído com blocos básicos otimizados para GPU.
- Executar experimentos de pesquisa sobre treinamento de transformers com scripts pré-configurados.
- Converter checkpoints entre os formatos Hugging Face e Megatron.
Início rápido
- 1
Instale o Megatron Core pelo PyPI
uv pip install megatron-core - 2
Ou clone o repositório e instale a partir do código-fonte
git clone https://github.com/NVIDIA/Megatron-LM.git && cd Megatron-LM && uv pip install -e . - 3
Siga o guia oficial «Your First Training Run» para preparar os dados e ver exemplos de treinamento
Antes de usar
- Treinar modelos grandes exige GPUs NVIDIA e recursos consideráveis de cluster.
- Compilar a partir do código-fonte pode consumir muita memória, e talvez seja necessário definir MAX_JOBS para limitar a compilação.
- Alguns recursos, como a branch dev, são experimentais.
- Nos metadados, a licença aparece como NOASSERTION; consulte o arquivo LICENSE antes de usar.
Tópicos
Perguntas frequentes
- O que é Megatron-LM?
- Biblioteca otimizada para GPU e scripts de referência para treinar grandes modelos transformer com paralelismo multidimensional. Megatron-LM é o framework da NVIDIA para treinar modelos transformer em larga escala, usando muitas GPUs. O repositório contém duas partes: Megatron Core, uma biblioteca componível de blocos básicos otimizados para GPU, usada para criar frameworks de treinamento personalizados, e Megatron-LM, um exemplo de referência baseado no Megatron Core que inclui scripts de treinamento pré-configurados para pesquisa e experimentação.
- Megatron-LM é gratuito? Qual é a licença?
- Megatron-LM é open source sob a licença Other. Confira os termos da licença antes de usá-lo em produtos comerciais.
- Megatron-LM ainda é mantido?
- Manutenção ativa. O último commit de Megatron-LM foi em 20 de out. de 2026.
- Para que posso usar Megatron-LM?
- Treinar grandes modelos de linguagem em muitas GPUs com paralelismo multidimensional. Criar um pipeline personalizado de treinamento distribuído com blocos básicos otimizados para GPU. Executar experimentos de pesquisa sobre treinamento de transformers com scripts pré-configurados. Converter checkpoints entre os formatos Hugging Face e Megatron.
- Como instalar Megatron-LM?
- Instale o Megatron Core pelo PyPI: uv pip install megatron-core Ou clone o repositório e instale a partir do código-fonte: git clone https://github.com/NVIDIA/Megatron-LM.git && cd Megatron-LM && uv pip install -e . Siga o guia oficial «Your First Training Run» para preparar os dados e ver exemplos de treinamento
- Onde consigo Megatron-LM?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/NVIDIA/Megatron-LM
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Biblioteca de comunicação GPU para dispatch e combine de MoE com paralelismo de especialistas, FP8 e suporte a NVLink/RDMA para treinamento e inferência.
10,3 mil1,5 milCudaMITAtualizado há 5 dias
Engine unificado de treinamento para modelos multimodais, com suporte a treinamento de VLMs, modelos de difusão e LLMs usando FSDP2, Muon e kernels Liger.
83238PythonSem licençaAtualizado há 3 dias
Framework para treinar LLMs, VLMs, modelos de difusão e modelos incorporados em GPUs NVIDIA e XPUs Kunlun, baseado no Megatron-LM e em backends nativos do torch.
69458PythonApache-2.0Atualizado ontem
Sistema de código aberto para executar, gerenciar e escalar workloads de IA em Kubernetes, Slurm e mais de 20 provedores de nuvem ou GPU com uma única interface.
10,7 mil1,3 milPythonApache-2.0Atualizado há 10 horas
Livro gratuito e aberto sobre redes neurais e grandes modelos de linguagem para NLP, dos fundamentos de machine learning a prompting, alinhamento e raciocínio.
Recursos de aprendizado#deep-learning#natural-language-processing#large-language-models#neural-networks#transformers
891153Sem licençaAtualizado anteontem