Tutorial comentado de 12 capítulos que enseña a crear y entrenar desde cero, con Python y PyTorch, un GPT pequeño al estilo LLaMA.
4,2 mil+14 esta semana505Jupyter NotebookMITActualizado hace 11 días
aa1143/NamiGPT
Tutorial para principiantes en chino que enseña a construir GPT-2 desde cero con PyTorch y explica cada paso con el sencillo ejemplo «el gato come pescado».
- Estrellas
- 195
- Forks
- 20
- Issues abiertos
- 0
- Último commit
- hace 10 días
¿Qué es?
NamiGPT es un tutorial paso a paso para aprender cómo funcionan los modelos de lenguaje grandes mediante la implementación de GPT-2 en PyTorch. El código del modelo en gpt2/model.py tiene menos de 200 líneas y no usa módulos Transformer listos para usar. Puede cargar los pesos oficiales de OpenAI de 124M y ejecutar inferencias y generar texto.
El curso se organiza en 15 capítulos que abarcan tokenización, embeddings, codificación posicional, self-attention, multi-head attention, conexiones residuales, LayerNorm, la red feed-forward, funciones de activación, bloques Transformer y su apilamiento, carga de pesos, generación de texto e interpretabilidad. Cada capítulo incluye un script ejecutable basado en el ejemplo de tres palabras «猫吃鱼». El proyecto también incluye una demo de Gradio que muestra continuaciones con las probabilidades de los candidatos en cada paso, y pruebas de pytest que comparan los resultados con la implementación de HuggingFace.
La documentación está en chino y el curso presupone conocimientos básicos de Python y álgebra lineal; no hace falta tener experiencia previa con LLM.
Funciones clave
- 01Construye GPT-2 desde cero en PyTorch, sin usar módulos Transformer integrados.
- 02Carga los pesos oficiales de OpenAI de GPT-2 124M para ejecutar inferencias y generar texto.
- 03Ofrece 15 capítulos, cada uno con un script ejecutable que usa un ejemplo de tres palabras.
- 04Incluye una demo de Gradio que muestra las probabilidades del siguiente token en cada paso.
- 05Incluye pruebas de pytest que comparan los resultados con la implementación de HuggingFace.
Casos de uso
- Aprender cómo se combinan attention, las conexiones residuales y LayerNorm en un modelo GPT.
- Enseñar en un grupo de estudio o curso los componentes internos de Transformer con una base de código pequeña y fácil de leer.
- Comparar tu propia implementación de GPT con una referencia cuyos resultados coinciden con los de HuggingFace.
- Ejecutar localmente continuaciones de texto con GPT-2 para observar ajustes de muestreo como temperature y top-k.
Inicio rápido
- 1
Clona el repositorio
git clone https://github.com/aa1143/NamiGPT.git - 2
Entra en la carpeta del proyecto
cd NamiGPT - 3
Instala las dependencias
pip install -r requirements.txt - 4
Ejecuta un script del tutorial, por ejemplo, la demostración de atención multi-cabeza
python chapters/01-inference/ep06_multi_head_attention.py
Antes de usarlo
- Está escrito como un tutorial para principiantes, por lo que no es un framework de entrenamiento ni una biblioteca de inferencia para producción.
- Los artículos de docs/ tienen licencia CC BY-NC 4.0, que prohíbe el uso comercial.
- Usa pesos de GPT-2, que no siguen instrucciones y se entrenaron principalmente en inglés.
Temas
Preguntas frecuentes
- ¿Qué es NamiGPT?
- Tutorial para principiantes en chino que enseña a construir GPT-2 desde cero con PyTorch y explica cada paso con el sencillo ejemplo «el gato come pescado». NamiGPT es un tutorial paso a paso para aprender cómo funcionan los modelos de lenguaje grandes mediante la implementación de GPT-2 en PyTorch. El código del modelo en gpt2/model.py tiene menos de 200 líneas y no usa módulos Transformer listos para usar. Puede cargar los pesos oficiales de OpenAI de 124M y ejecutar inferencias y generar texto.
- ¿NamiGPT es gratuito? ¿Qué licencia tiene?
- NamiGPT es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿NamiGPT sigue mantenido?
- Mantenimiento activo. El último commit de NamiGPT fue el 28 oct 2026.
- ¿Para qué puedo usar NamiGPT?
- Aprender cómo se combinan attention, las conexiones residuales y LayerNorm en un modelo GPT. Enseñar en un grupo de estudio o curso los componentes internos de Transformer con una base de código pequeña y fácil de leer. Comparar tu propia implementación de GPT con una referencia cuyos resultados coinciden con los de HuggingFace. Ejecutar localmente continuaciones de texto con GPT-2 para observar ajustes de muestreo como temperature y top-k.
- ¿Cómo se instala NamiGPT?
- Clona el repositorio: git clone https://github.com/aa1143/NamiGPT.git Entra en la carpeta del proyecto: cd NamiGPT Instala las dependencias: pip install -r requirements.txt Ejecuta un script del tutorial, por ejemplo, la demostración de atención multi-cabeza: python chapters/01-inference/ep06_multi_head_attention.py
- ¿Dónde consigo NamiGPT?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/aa1143/NamiGPT
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Implementación oficial de FlashAttention, un kernel de atención exacta y eficiente en memoria para entrenar e inferir con modelos Transformer en GPU.
25,3 mil+27 esta semana3,2 milPythonBSD-3-ClauseActualizado hace 11 horas
Plataforma interactiva para practicar la implementación desde cero de operadores y arquitecturas de PyTorch, con evaluación automática en Jupyter.
4,7 mil+17 esta semana426Jupyter NotebookSin licenciaActualizado hace 3 meses
Una ruta visual de aprendizaje basada en una cronología que recorre las familias de arquitecturas de deep learning y LLM, desde las RNN de 1986 hasta los modelos de razonamiento de 2025.
869+2 esta semana158TypeScriptMITActualizado el mes pasado
Guía y código en PyTorch para entrenar desde cero un LLM transformer, desde el preentrenamiento hasta SFT, modelado de recompensas, DPO/PPO/GRPO y generación.
13,2 mil+128 esta semana1,8 milPythonMITBien mantenidoActualizado el mes pasado
Tutorial abierto en chino que enseña los principios de los LLM creando desde cero un modelo pequeño al estilo de LLaMA2, y cubre Transformer, preentrenamiento, ajuste fino, RAG y agentes.
34,8 mil+129 esta semana3,3 milJupyter NotebookOtherActualizado hace 3 meses