Tutorial comentado em 12 capítulos que ensina a criar e treinar do zero, em Python e PyTorch, um GPT pequeno no estilo LLaMA.
4,1 mil498Jupyter NotebookMITAtualizado há 2 meses
afshinea/stanford-cme-295-transformers-large-language-models
Um guia de estudos e cola VIP que reúne em um só lugar o conteúdo do curso CME 295 de Stanford sobre Transformers e modelos de linguagem grandes.
- Estrelas
- 4,966
- Forks
- 722
- Issues abertas
- 8
- Último commit
- mês passado
O que é?
Este repositório reúne os conceitos centrais do curso CME 295 de Stanford sobre Transformers e Large Language Models em uma única cola. O material aborda fundamentos de Transformers, como self-attention e variantes de arquitetura, e depois passa a tópicos de LLMs, incluindo prompting, métodos de fine-tuning como SFT e LoRA, e ajuste de preferências com RLHF e DPO.
O conteúdo também abrange treinamento voltado ao raciocínio (RLVR, OPD), otimizações como treinamento distribuído, KV caching e speculative decoding, e aplicações como agentes de IA, avaliação e LLMs de difusão. O material está disponível como uma cola em PDF, em vários idiomas, e resume um livro complementar mais extenso, com várias centenas de ilustrações.
Recursos principais
- 01Aborda fundamentos de Transformers, incluindo self-attention e variantes de arquitetura
- 02Explica o fine-tuning de LLMs com SFT e LoRA e o ajuste de preferências com RLHF e DPO
- 03Resume métodos de treinamento voltados ao raciocínio, como RLVR e OPD
- 04Lista otimizações de inferência, incluindo KV caching e speculative decoding
- 05Disponível para download como cola em PDF, em vários idiomas
Casos de uso
- Revisar conceitos fundamentais de LLMs e Transformers antes de entrevistas ou provas
- Ter uma visão rápida dos pipelines modernos de treinamento de LLMs
- Estudar em paralelo com o curso CME 295 ou usar o material como complemento
Tópicos
Perguntas frequentes
- O que é stanford-cme-295-transformers-large-language-models?
- Um guia de estudos e cola VIP que reúne em um só lugar o conteúdo do curso CME 295 de Stanford sobre Transformers e modelos de linguagem grandes. Este repositório reúne os conceitos centrais do curso CME 295 de Stanford sobre Transformers e Large Language Models em uma única cola. O material aborda fundamentos de Transformers, como self-attention e variantes de arquitetura, e depois passa a tópicos de LLMs, incluindo prompting, métodos de fine-tuning como SFT e LoRA, e ajuste de preferências com RLHF e DPO.
- stanford-cme-295-transformers-large-language-models é gratuito? Qual é a licença?
- stanford-cme-295-transformers-large-language-models é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
- stanford-cme-295-transformers-large-language-models ainda é mantido?
- Atualizado nos últimos 6 meses. O último commit de stanford-cme-295-transformers-large-language-models foi em 13 de set. de 2026.
- Para que posso usar stanford-cme-295-transformers-large-language-models?
- Revisar conceitos fundamentais de LLMs e Transformers antes de entrevistas ou provas Ter uma visão rápida dos pipelines modernos de treinamento de LLMs Estudar em paralelo com o curso CME 295 ou usar o material como complemento
- Onde consigo stanford-cme-295-transformers-large-language-models?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/afshinea/stanford-cme-295-transformers-large-language-models
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Implementação em PyTorch do Vision Transformer (ViT) e de muitas variantes para classificação de imagens e outras tarefas de visão computacional.
25,6 mil3,5 milPythonMITAtualizado há 9 dias
Curso gratuito e prático, com notebooks Jupyter e artigos sobre aplicações de LLMs usando OpenAI, Hugging Face, LangChain, bancos de dados vetoriais, fine-tuning e pruning.
1,8 mil450Jupyter NotebookMITAtualizado há 23 dias
Código oficial de treinamento e referência do RWKV, uma arquitetura de modelo de linguagem no estilo RNN que também pode ser treinada em paralelo como um transformer GPT.
14,8 mil1 milPythonApache-2.0Atualizado há 24 dias
Framework unificado para ajustar 100+ LLMs e VLMs com eficiência, usando uma CLI e uma interface Web sem código.
75,7 mil9,3 milPythonApache-2.0Atualizado anteontem
Biblioteca da Hugging Face para Parameter-Efficient Fine-Tuning (PEFT), adaptando modelos pré-treinados grandes ao treinar apenas um pequeno conjunto de parâmetros adicionais.
21,8 mil2,6 milPythonApache-2.0Atualizado há 4 horas