Framework de entrenamiento para LLM, VLM, modelos de difusión y modelos corporizados en GPU NVIDIA y XPU Kunlun, basado en Megatron-LM y backends nativos de torch.
820+52 esta semana68PythonApache-2.0Actualizado ayer
EleutherAI/gpt-neox
Biblioteca para entrenar grandes modelos de lenguaje autorregresivos en GPU, basada en Megatron-LM y DeepSpeed, con paralelismo de modelo, pipeline y datos.
- Estrellas
- 7,472
- Forks
- 1,126
- Issues abiertos
- 128
- Último commit
- anteayer
¿Qué es?
GPT-NeoX es la biblioteca de EleutherAI para entrenar modelos de lenguaje autorregresivos a gran escala en GPU. Está basada en Megatron-LM de NVIDIA y lo amplía con técnicas de DeepSpeed, como ZeRO y el paralelismo 3D, además de incorporar sus propias optimizaciones. Está dirigida a investigadores y equipos que quieren preentrenar o ajustar modelos con miles de millones de parámetros desde cero.
La biblioteca incluye configuraciones predefinidas para arquitecturas como Pythia, PaLM, Falcon y LLaMA, y es compatible con embeddings posicionales rotatorios y ALiBi, flash attention, Mixture of Experts mediante megablocks y aprendizaje por currículo. Los trabajos se pueden lanzar con pdsh, MPI o Slurm, y el entrenamiento se puede supervisar con Weights & Biases, Comet o TensorBoard. Los checkpoints se pueden exportar al formato de Hugging Face Transformers, y se pueden importar pesos de Llama y Mistral.
El proyecto señala que, para inferencia de propósito general, la biblioteca transformers de Hugging Face es una mejor opción.
Funciones clave
- 01Entrenamiento distribuido con ZeRO y paralelismo 3D
- 02Configuraciones predefinidas para las arquitecturas Pythia, PaLM, Falcon y LLaMA
- 03Compatibilidad con flash attention y Mixture of Experts (megablocks)
- 04Lanzamiento de trabajos mediante Slurm, MPI o pdsh en GPU NVIDIA y AMD
- 05Exportación de checkpoints al formato de Hugging Face e importación de pesos de Llama o Mistral
- 06Supervisión de experimentos con Weights & Biases, Comet y TensorBoard
Casos de uso
- Preentrenar desde cero un modelo de lenguaje grande personalizado en un clúster de GPU
- Reproducir o ampliar experimentos de entrenamiento al estilo de Pythia
- Ajustar checkpoints de Llama o Mistral con paralelismo multinodo
- Ejecutar grandes trabajos de entrenamiento en Slurm o supercomputadoras HPC
Inicio rápido
- 1
Instala las dependencias básicas desde la raíz del repositorio
pip install -r requirements/requirements.txt - 2
Inicia un trabajo de entrenamiento con un archivo de configuración (sustituye la ruta por la de tu propio archivo)
python3 deepy.py train.py /path/to/configs/my_model.yml
Antes de usarlo
- Está diseñado para entrenar modelos grandes en GPU, por lo que requiere hardware GPU de alta capacidad.
- Según el README, probablemente no sea la herramienta adecuada si solo necesitas inferencia; usa Hugging Face transformers en su lugar.
- Se desarrolló y probó principalmente con Python 3.8-3.10 y PyTorch 1.8-2.0, y depende de una bifurcación de DeepSpeed (DeeperSpeed) que debe instalarse en un entorno aislado.
En colecciones
Temas
#llm#distributed-training#deepspeed#megatron#transformers#pretraining#gpu#deepspeed-library#gpt-3#language-model
Preguntas frecuentes
- ¿Qué es gpt-neox?
- Biblioteca para entrenar grandes modelos de lenguaje autorregresivos en GPU, basada en Megatron-LM y DeepSpeed, con paralelismo de modelo, pipeline y datos. GPT-NeoX es la biblioteca de EleutherAI para entrenar modelos de lenguaje autorregresivos a gran escala en GPU. Está basada en Megatron-LM de NVIDIA y lo amplía con técnicas de DeepSpeed, como ZeRO y el paralelismo 3D, además de incorporar sus propias optimizaciones. Está dirigida a investigadores y equipos que quieren preentrenar o ajustar modelos con miles de millones de parámetros desde cero.
- ¿gpt-neox es gratuito? ¿Qué licencia tiene?
- gpt-neox es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿gpt-neox sigue mantenido?
- Mantenimiento activo. El último commit de gpt-neox fue el 4 nov 2026.
- ¿Para qué puedo usar gpt-neox?
- Preentrenar desde cero un modelo de lenguaje grande personalizado en un clúster de GPU Reproducir o ampliar experimentos de entrenamiento al estilo de Pythia Ajustar checkpoints de Llama o Mistral con paralelismo multinodo Ejecutar grandes trabajos de entrenamiento en Slurm o supercomputadoras HPC
- ¿Cómo se instala gpt-neox?
- Instala las dependencias básicas desde la raíz del repositorio: pip install -r requirements/requirements.txt Inicia un trabajo de entrenamiento con un archivo de configuración (sustituye la ruta por la de tu propio archivo): python3 deepy.py train.py /path/to/configs/my_model.yml
- ¿Dónde consigo gpt-neox?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/EleutherAI/gpt-neox
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Framework basado en Ray y vLLM para RLHF y entrenamiento de agentes con modelos grandes de lenguaje y de visión y lenguaje.
10,1 mil+15 esta semana1,1 milPythonApache-2.0Bien mantenidoActualizado hace 3 días
Biblioteca optimizada para GPU y scripts de referencia para entrenar grandes modelos Transformer con paralelismo multidimensional.
18,3 mil+41 esta semana4,7 milPythonOtherActualizado hace 16 horas
Biblioteca minimalista de Hugging Face para preentrenar LLMs basados en transformers con paralelismo 3D (DP, TP, PP) en clústeres con varias GPU.
2,9 mil+5 esta semana342PythonApache-2.0Actualizado hace 29 días
Código complementario del libro Build a Large Language Model (From Scratch) para implementar paso a paso un LLM similar a GPT en PyTorch.
107,9 mil+362 esta semana16,7 milJupyter NotebookOtherBien mantenidoActualizado hace 21 horas
Biblioteca de estilo Transformers basada en PaddlePaddle para entrenar modelos de lenguaje grandes y modelos de visión y lenguaje, con una API compatible con Hugging Face.
13 mil+1 esta semana2,2 milPythonApache-2.0Bien mantenidoActualizado hace 16 días