Una biblioteca de optimización de deep learning que facilita y hace más eficiente el entrenamiento distribuido y la inferencia de modelos grandes.
43,2 mil5 milPythonApache-2.0Actualizado ayer
NVIDIA/Megatron-LM
Biblioteca optimizada para GPU y scripts de referencia para entrenar grandes modelos Transformer con paralelismo multidimensional.
- Estrellas
- 18,209
- Forks
- 4,645
- Issues abiertos
- 1,657
- Último commit
- hace 8 horas
¿Qué es?
Megatron-LM es el framework de NVIDIA para entrenar modelos Transformer a gran escala en numerosas GPU. El repositorio contiene dos partes: Megatron Core, una biblioteca componible de componentes optimizados para GPU con los que crear frameworks de entrenamiento personalizados, y Megatron-LM, un ejemplo de referencia basado en Megatron Core que incluye scripts de entrenamiento preconfigurados para investigación y experimentación.
Megatron Core admite paralelismo de tensor, pipeline, datos, expertos y contexto, además de precisión mixta en FP16, BF16, FP8 y FP4. Incluye componentes básicos de Transformer y arquitecturas de modelos. Megatron Bridge, un proyecto independiente, se encarga de convertir checkpoints entre Hugging Face y Megatron.
El proyecto se puede instalar desde PyPI como megatron-core o desde el código fuente, y ofrece documentación sobre la instalación, las primeras ejecuciones de entrenamiento y las estrategias de paralelismo.
Funciones clave
- 01Paralelismo de tensor, pipeline, datos, expertos y contexto para escalar entre GPU.
- 02Entrenamiento con precisión mixta en FP16, BF16, FP8 y FP4.
- 03Componentes básicos componibles de Transformer y arquitecturas de modelos para frameworks personalizados.
- 04Scripts y ejemplos de entrenamiento preconfigurados para investigación.
- 05Conversión de checkpoints entre los formatos de Hugging Face y Megatron mediante Megatron Bridge.
Casos de uso
- Entrenar grandes modelos de lenguaje en numerosas GPU con paralelismo multidimensional.
- Crear un pipeline de entrenamiento distribuido personalizado a partir de componentes optimizados para GPU.
- Realizar experimentos de investigación sobre el entrenamiento de Transformer con scripts preconfigurados.
- Convertir checkpoints entre los formatos de Hugging Face y Megatron.
Inicio rápido
- 1
Instala Megatron Core desde PyPI
uv pip install megatron-core - 2
O clona el repositorio e instala el código fuente
git clone https://github.com/NVIDIA/Megatron-LM.git && cd Megatron-LM && uv pip install -e . - 3
Sigue la guía oficial «Your First Training Run» para preparar los datos y consultar ejemplos de entrenamiento
Antes de usarlo
- Entrenar modelos grandes requiere GPU NVIDIA y recursos de clúster considerables.
- Compilar desde el código fuente puede consumir mucha memoria y quizá sea necesario configurar MAX_JOBS para limitar la compilación.
- Algunas funciones, como la rama dev, son experimentales.
- En los metadatos, la licencia figura como NOASSERTION; consulta el archivo LICENSE antes de usarlo.
Temas
Preguntas frecuentes
- ¿Qué es Megatron-LM?
- Biblioteca optimizada para GPU y scripts de referencia para entrenar grandes modelos Transformer con paralelismo multidimensional. Megatron-LM es el framework de NVIDIA para entrenar modelos Transformer a gran escala en numerosas GPU. El repositorio contiene dos partes: Megatron Core, una biblioteca componible de componentes optimizados para GPU con los que crear frameworks de entrenamiento personalizados, y Megatron-LM, un ejemplo de referencia basado en Megatron Core que incluye scripts de entrenamiento preconfigurados para investigación y experimentación.
- ¿Megatron-LM es gratuito? ¿Qué licencia tiene?
- Megatron-LM es open source bajo la licencia Other. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿Megatron-LM sigue mantenido?
- Mantenimiento activo. El último commit de Megatron-LM fue el 20 oct 2026.
- ¿Para qué puedo usar Megatron-LM?
- Entrenar grandes modelos de lenguaje en numerosas GPU con paralelismo multidimensional. Crear un pipeline de entrenamiento distribuido personalizado a partir de componentes optimizados para GPU. Realizar experimentos de investigación sobre el entrenamiento de Transformer con scripts preconfigurados. Convertir checkpoints entre los formatos de Hugging Face y Megatron.
- ¿Cómo se instala Megatron-LM?
- Instala Megatron Core desde PyPI: uv pip install megatron-core O clona el repositorio e instala el código fuente: git clone https://github.com/NVIDIA/Megatron-LM.git && cd Megatron-LM && uv pip install -e . Sigue la guía oficial «Your First Training Run» para preparar los datos y consultar ejemplos de entrenamiento
- ¿Dónde consigo Megatron-LM?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/NVIDIA/Megatron-LM
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Biblioteca de comunicación GPU para dispatch y combine de MoE con paralelismo de expertos, dispatch FP8 y compatibilidad con NVLink/RDMA para entrenamiento e inferencia.
10,3 mil1,5 milCudaMITActualizado hace 4 días
Motor de entrenamiento unificado para modelos multimodales, compatible con VLM, difusión y entrenamiento de LLM con FSDP2, Muon y kernels de Liger.
83238PythonSin licenciaActualizado hace 3 días
Framework de entrenamiento para LLM, VLM, modelos de difusión y modelos corporizados en GPU NVIDIA y XPU Kunlun, basado en Megatron-LM y backends nativos de torch.
69458PythonApache-2.0Actualizado ayer
Sistema de código abierto para ejecutar, gestionar y escalar cargas de trabajo de IA en Kubernetes, Slurm y más de 20 nubes o proveedores de GPU desde una sola interfaz.
10,7 mil1,3 milPythonApache-2.0Actualizado hace 8 horas
Libro abierto y gratuito sobre redes neuronales y modelos de lenguaje grandes para NLP, desde los fundamentos del aprendizaje automático hasta el prompting, la alineación y el razonamiento.
Recursos de aprendizaje#deep-learning#natural-language-processing#large-language-models#neural-networks#transformers
891153Sin licenciaActualizado anteayer