Repolode
Enviar
raiyanyahya

raiyanyahya/how-to-train-your-gpt

Tutorial comentado em 12 capítulos que ensina a criar e treinar do zero, em Python e PyTorch, um GPT pequeno no estilo LLaMA.

Ver no GitHub
Estrelas
4,049
Forks
505
Issues abertas
5
Último commit
há 2 meses

O que é?

Este é um projeto de aprendizado que ensina como funciona um modelo de linguagem moderno, apenas com decoder, por meio da construção de um do zero. Ele aborda o pipeline completo: um tokenizador BPE, embeddings, codificação posicional rotativa (RoPE), atenção multi-head com máscara causal, blocos Transformer com RMSNorm e SwiGLU, um loop de treinamento com AdamW e warmup cosseno, além de um mecanismo de inferência com KV cache e opções de amostragem.

O material está organizado em 12 capítulos que devem ser lidos em ordem, além de cerca de 28 explicações independentes sobre tópicos e notebooks Jupyter complementares. Cada trecho de código inclui comentários que explicam o que cada linha faz e por que está ali. O guia pressupõe apenas conhecimentos básicos de Python e não exige experiência prévia em machine learning.

A configuração padrão usa um modelo pequeno (d_model=256, 4 camadas), que treina na CPU em poucos minutos. Também está incluída uma configuração na escala do GPT-2 (cerca de 151M de parâmetros), mas ela exige uma GPU. O projeto é voltado ao aprendizado, não ao uso em produção.

Recursos principais

  • 01Doze capítulos em sequência, da tokenização à inferência
  • 02Comentários linha por linha que explicam o que cada trecho de código faz e por quê
  • 03Implementa RoPE, RMSNorm, SwiGLU, blocos pre-norm e compartilhamento de pesos
  • 04Loop de treinamento personalizado com AdamW, warmup cosseno e precisão mista
  • 05Inferência com KV cache, temperature, amostragem top-k/top-p e busca em feixe
  • 06main.py executável com uma configuração padrão pequena e adequada para CPU

Casos de uso

  • Desenvolvedores Python que querem entender como funcionam internamente os modelos no estilo do ChatGPT
  • Estudantes que estão aprendendo atenção em Transformers e treinamento desde os fundamentos
  • Engenheiros que comparam escolhas de arquitetura, como RoPE versus posições aprendidas ou RMSNorm versus LayerNorm
  • Professores preparando uma atividade prática sobre a criação de um modelo de linguagem pequeno

Início rápido

  1. 1

    Clone o repositório

    git clone https://github.com/raiyanyahya/how-to-train-your-gpt.git
  2. 2

    Crie e ative um ambiente virtual (Mac/Linux)

    python -m venv gpt_env && source gpt_env/bin/activate
  3. 3

    Instale as dependências do arquivo requirements

    pip install -r requirements.txt
  4. 4

    Execute o script de treinamento (por padrão, tiny config)

    python main.py

Antes de usar

  • A configuração padrão é um modelo tiny; a configuração na escala do GPT-2, com 151 M de parâmetros, requer uma GPU.
  • Este é um recurso de aprendizado, destinado apenas ao aprendizado e não a modelos de produção.

Tópicos

#llm#transformers#pytorch#deep-learning#attention-mechanism#tutorial#education#nlp#educational#from-scratch

Perguntas frequentes

O que é how-to-train-your-gpt?
Tutorial comentado em 12 capítulos que ensina a criar e treinar do zero, em Python e PyTorch, um GPT pequeno no estilo LLaMA. Este é um projeto de aprendizado que ensina como funciona um modelo de linguagem moderno, apenas com decoder, por meio da construção de um do zero. Ele aborda o pipeline completo: um tokenizador BPE, embeddings, codificação posicional rotativa (RoPE), atenção multi-head com máscara causal, blocos Transformer com RMSNorm e SwiGLU, um loop de treinamento com AdamW e warmup cosseno, além de um mecanismo de inferência com KV cache e opções de amostragem.
how-to-train-your-gpt é gratuito? Qual é a licença?
how-to-train-your-gpt é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
how-to-train-your-gpt ainda é mantido?
Atualizado nos últimos 6 meses. O último commit de how-to-train-your-gpt foi em 30 de ago. de 2026.
Para que posso usar how-to-train-your-gpt?
Desenvolvedores Python que querem entender como funcionam internamente os modelos no estilo do ChatGPT Estudantes que estão aprendendo atenção em Transformers e treinamento desde os fundamentos Engenheiros que comparam escolhas de arquitetura, como RoPE versus posições aprendidas ou RMSNorm versus LayerNorm Professores preparando uma atividade prática sobre a criação de um modelo de linguagem pequeno
Como instalar how-to-train-your-gpt?
Clone o repositório: git clone https://github.com/raiyanyahya/how-to-train-your-gpt.git Crie e ative um ambiente virtual (Mac/Linux): python -m venv gpt_env && source gpt_env/bin/activate Instale as dependências do arquivo requirements: pip install -r requirements.txt Execute o script de treinamento (por padrão, tiny config): python main.py
Onde consigo how-to-train-your-gpt?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/raiyanyahya/how-to-train-your-gpt

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados