raiyanyahya/how-to-train-your-gpt

¿Qué es?

Funciones clave

• 01Doce capítulos secuenciales que abarcan desde la tokenización hasta la inferencia
• 02Comentarios línea por línea que explican qué hace cada parte del código y por qué
• 03Implementa RoPE, RMSNorm, SwiGLU, bloques pre-norm y weight tying
• 04Bucle de entrenamiento personalizado con AdamW, calentamiento cosenoidal y precisión mixta
• 05Inferencia con caché KV, temperature, muestreo top-k/top-p y búsqueda beam
• 06main.py ejecutable con una configuración predeterminada pequeña y apta para CPU

Casos de uso

• Desarrolladores de Python que quieren entender cómo funcionan internamente los modelos estilo ChatGPT
• Estudiantes que están aprendiendo la atención de Transformer y el entrenamiento desde cero
• Ingenieros que comparan decisiones arquitectónicas, como RoPE frente a posiciones aprendidas o RMSNorm frente a LayerNorm
• Docentes que preparan un laboratorio práctico sobre cómo construir un modelo de lenguaje pequeño

Inicio rápido

1. 1

   Clona el repositorio

   git clone https://github.com/raiyanyahya/how-to-train-your-gpt.git
2. 2

   Crea y activa un entorno virtual (Mac/Linux)

   python -m venv gpt_env && source gpt_env/bin/activate
3. 3

   Instala las dependencias desde el archivo requirements

   pip install -r requirements.txt
4. 4

   Ejecuta el script de entrenamiento (de forma predeterminada, tiny config)

   python main.py

Antes de usarlo

• !La configuración predeterminada es un modelo tiny; la configuración a escala de GPT-2 con 151 M de parámetros requiere una GPU.
• !Este es un recurso de aprendizaje, destinado únicamente al aprendizaje y no a modelos de producción.

Temas

Preguntas frecuentes

¿Qué es how-to-train-your-gpt?

Tutorial comentado de 12 capítulos que enseña a crear y entrenar desde cero, con Python y PyTorch, un GPT pequeño al estilo LLaMA. Este proyecto educativo enseña cómo funciona un modelo de lenguaje moderno de solo decodificador mediante su construcción desde cero. Cubre todo el proceso: un tokenizador BPE, embeddings, codificación posicional rotatoria (RoPE), atención multi-cabeza con máscara causal, bloques Transformer con RMSNorm y SwiGLU, un bucle de entrenamiento con AdamW y calentamiento cosenoidal, y un motor de inferencia con caché KV y opciones de muestreo.

¿how-to-train-your-gpt es gratuito? ¿Qué licencia tiene?

how-to-train-your-gpt es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.

¿how-to-train-your-gpt sigue mantenido?

Actualizado en los últimos 6 meses. El último commit de how-to-train-your-gpt fue el 30 ago 2026.

¿Para qué puedo usar how-to-train-your-gpt?

Desarrolladores de Python que quieren entender cómo funcionan internamente los modelos estilo ChatGPT Estudiantes que están aprendiendo la atención de Transformer y el entrenamiento desde cero Ingenieros que comparan decisiones arquitectónicas, como RoPE frente a posiciones aprendidas o RMSNorm frente a LayerNorm Docentes que preparan un laboratorio práctico sobre cómo construir un modelo de lenguaje pequeño

¿Cómo se instala how-to-train-your-gpt?

Clona el repositorio: git clone https://github.com/raiyanyahya/how-to-train-your-gpt.git Crea y activa un entorno virtual (Mac/Linux): python -m venv gpt_env && source gpt_env/bin/activate Instala las dependencias desde el archivo requirements: pip install -r requirements.txt Ejecuta el script de entrenamiento (de forma predeterminada, tiny config): python main.py

¿Dónde consigo how-to-train-your-gpt?

El código fuente y las instrucciones de instalación están en GitHub: https://github.com/raiyanyahya/how-to-train-your-gpt