Tutorial comentado de 12 capítulos que enseña a crear y entrenar desde cero, con Python y PyTorch, un GPT pequeño al estilo LLaMA.
afshinea/stanford-cme-295-transformers-large-language-models
Una chuleta y guía de estudio VIP que reúne en un solo lugar los contenidos del curso CME 295 de Stanford sobre Transformers y modelos de lenguaje grandes.
- Estrellas
- 4,966
- Forks
- 722
- Issues abiertos
- 8
- Último commit
- el mes pasado
¿Qué es?
Este repositorio reúne los conceptos esenciales del curso CME 295 de Stanford sobre Transformers y modelos de lenguaje grandes en una sola chuleta. Abarca fundamentos de los Transformers, como la autoatención y las variantes de arquitectura, y luego trata temas de LLM, como el prompting, métodos de fine-tuning como SFT y LoRA, y el ajuste de preferencias con RLHF y DPO.
El material también cubre el entrenamiento orientado al razonamiento (RLVR, OPD), optimizaciones como el entrenamiento distribuido, la caché KV y la decodificación especulativa, y aplicaciones como los agentes de IA, la evaluación y los LLM de difusión. El contenido se ofrece como una chuleta en PDF, disponible en muchos idiomas, y resume un libro complementario más extenso con varios cientos de ilustraciones.
Funciones clave
- 01Cubre los fundamentos de los Transformers, incluida la autoatención y las variantes de arquitectura
- 02Explica el fine-tuning de LLM con SFT y LoRA, y el ajuste de preferencias con RLHF y DPO
- 03Resume métodos de entrenamiento para el razonamiento, como RLVR y OPD
- 04Enumera optimizaciones de inferencia, como la caché KV y la decodificación especulativa
- 05Disponible como chuleta en PDF descargable y en muchos idiomas
Casos de uso
- Repasar conceptos esenciales de LLM y Transformers antes de entrevistas o exámenes
- Obtener una visión rápida de los pipelines modernos de entrenamiento de LLM
- Estudiar junto con el curso CME 295 o usarlo como material complementario
Temas
Preguntas frecuentes
- ¿Qué es stanford-cme-295-transformers-large-language-models?
- Una chuleta y guía de estudio VIP que reúne en un solo lugar los contenidos del curso CME 295 de Stanford sobre Transformers y modelos de lenguaje grandes. Este repositorio reúne los conceptos esenciales del curso CME 295 de Stanford sobre Transformers y modelos de lenguaje grandes en una sola chuleta. Abarca fundamentos de los Transformers, como la autoatención y las variantes de arquitectura, y luego trata temas de LLM, como el prompting, métodos de fine-tuning como SFT y LoRA, y el ajuste de preferencias con RLHF y DPO.
- ¿stanford-cme-295-transformers-large-language-models es gratuito? ¿Qué licencia tiene?
- stanford-cme-295-transformers-large-language-models es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿stanford-cme-295-transformers-large-language-models sigue mantenido?
- Actualizado en los últimos 6 meses. El último commit de stanford-cme-295-transformers-large-language-models fue el 13 sept 2026.
- ¿Para qué puedo usar stanford-cme-295-transformers-large-language-models?
- Repasar conceptos esenciales de LLM y Transformers antes de entrevistas o exámenes Obtener una visión rápida de los pipelines modernos de entrenamiento de LLM Estudiar junto con el curso CME 295 o usarlo como material complementario
- ¿Dónde consigo stanford-cme-295-transformers-large-language-models?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/afshinea/stanford-cme-295-transformers-large-language-models
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Implementación en PyTorch del Vision Transformer (ViT) y muchas de sus variantes para clasificación de imágenes y otras tareas de visión.
Curso práctico y gratuito con notebooks de Jupyter y artículos sobre aplicaciones de LLM con OpenAI, Hugging Face, LangChain, bases de datos vectoriales, ajuste fino y poda.
Código oficial de entrenamiento y referencia para RWKV, una arquitectura de modelo de lenguaje tipo RNN que también se puede entrenar en paralelo, como un transformer GPT.
Framework unificado para ajustar eficientemente más de 100 LLM y VLM con una CLI y una interfaz web sin código.
Biblioteca de Hugging Face para Parameter-Efficient Fine-Tuning (PEFT), que adapta modelos preentrenados grandes entrenando solo un pequeño conjunto de parámetros adicionales.