Código complementario del libro Build a Large Language Model (From Scratch) para implementar paso a paso un LLM similar a GPT en PyTorch.
Este repositorio contiene el código para desarrollar, preentrenar y ajustar un modelo de lenguaje grande similar a GPT en PyTorch, sin depender de bibliotecas externas de LLM. Está organizado por capítulos del libro e incluye preparación de datos de texto y tokenización, mecanismos de atención, construcción de un modelo GPT, preentrenamiento con datos sin etiquetar, ajuste fino para clasificación y ajuste fino con instrucciones.
El código está diseñado para ejecutarse en una laptop convencional en un tiempo razonable, y usa una GPU automáticamente cuando está disponible. Además de los capítulos principales, las carpetas adicionales exploran temas como tokenizadores BPE, KV cache, atención multi-head latent y grouped-query, mixture-of-experts, ajuste de preferencias DPO, LoRA e implementaciones desde cero de arquitecturas como Llama 3.2, Qwen3 y Gemma 3. También incluye la carga de pesos de modelos preentrenados más grandes para ajustarlos.
El proyecto es el complemento oficial de código del libro de Manning; también hay disponible un curso en video y una continuación sobre modelos de razonamiento.
Clona el repositorio de forma superficial (shallow clone)
git clone --depth 1 https://github.com/rasbt/LLMs-from-scratch.gitSigue la guía de configuración de la carpeta setup para instalar Python y los paquetes necesarios
Abre los notebooks de los capítulos principales, como ch02/01_main-chapter-code/ch02.ipynb
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Un entorno mínimo y fácil de modificar que cubre todo el flujo de trabajo de los LLM, desde la tokenización y el preentrenamiento hasta el ajuste fino, la evaluación y el chat, en un único nodo con GPU.
Tutorial comentado de 12 capítulos que enseña a crear y entrenar desde cero, con Python y PyTorch, un GPT pequeño al estilo LLaMA.
Curso gratuito con licencia MIT y 542 lecciones para aprender conceptos de ingeniería de IA desde cero con Python, TypeScript, Rust y Julia.
Un plan de estudios de IA para principiantes de Microsoft, de 12 semanas y 24 lecciones, que abarca IA simbólica, redes neuronales, visión por computadora, NLP y ética, con notebooks en PyTorch y TensorFlow.
Una colección de 54 scripts de Python autocontenidos y sin dependencias que implementan algoritmos modernos de IA desde cero para que se entiendan sus componentes internos.
Base de conocimiento de ML seleccionada y escrita en Markdown, con 923 artículos, clases y artículos académicos, además de un clasificador y regresor personalizados en NumPy llamado APRL.