Tutorial comentado em 12 capítulos que ensina a criar e treinar do zero, em Python e PyTorch, um GPT pequeno no estilo LLaMA.
4,2 mil+14 esta semana505Jupyter NotebookMITAtualizado há 11 dias
aa1143/NamiGPT
Tutorial para iniciantes em chinês que ensina a criar o GPT-2 do zero com PyTorch, explicando cada etapa com o exemplo curto “gato come peixe”.
- Estrelas
- 195
- Forks
- 20
- Issues abertas
- 0
- Último commit
- há 10 dias
O que é?
NamiGPT é um tutorial passo a passo para aprender como funcionam os modelos de linguagem grandes escrevendo uma implementação do GPT-2 em PyTorch. O código do modelo em gpt2/model.py tem menos de 200 linhas e não usa módulos Transformer prontos. Ele pode carregar os pesos oficiais de 124M da OpenAI e executar inferência e geração de texto.
O curso está organizado em 15 capítulos que abordam tokenização, embeddings, codificação posicional, self-attention, multi-head attention, conexões residuais, LayerNorm, a rede feed-forward, funções de ativação, blocos Transformer e seu empilhamento, carregamento de pesos, geração de texto e interpretabilidade. Cada capítulo tem um script executável baseado no exemplo de três palavras “猫吃鱼”. O projeto também inclui uma demonstração em Gradio que exibe continuações com as probabilidades das opções candidatas em cada etapa, além de testes com pytest que comparam os resultados com a implementação do HuggingFace.
A documentação está em chinês. O curso pressupõe conhecimentos básicos de Python e álgebra linear, mas não exige experiência prévia com LLMs.
Recursos principais
- 01Cria o GPT-2 do zero em PyTorch, sem usar módulos Transformer integrados.
- 02Carrega os pesos oficiais do GPT-2 124M da OpenAI para inferência e geração de texto.
- 03Oferece 15 capítulos, cada um com um script executável baseado em um exemplo de três palavras.
- 04Inclui uma demonstração em Gradio que exibe as probabilidades do próximo token em cada etapa.
- 05Tem testes com pytest que verificam os resultados em relação à implementação do HuggingFace.
Casos de uso
- Aprender como atenção, conexões residuais e LayerNorm se combinam em um modelo GPT.
- Ensinar um grupo de estudos ou um curso sobre o funcionamento interno de Transformers com uma base de código pequena e fácil de ler.
- Conferir sua própria implementação de GPT usando uma referência cujos resultados correspondem aos do HuggingFace.
- Executar localmente a continuação de texto com GPT-2 para observar configurações de amostragem, como temperature e top-k.
Início rápido
- 1
Clone o repositório
git clone https://github.com/aa1143/NamiGPT.git - 2
Entre na pasta do projeto
cd NamiGPT - 3
Instale as dependências
pip install -r requirements.txt - 4
Execute um script do tutorial, por exemplo, a demonstração de atenção multi-head
python chapters/01-inference/ep06_multi_head_attention.py
Antes de usar
- Foi escrito como um tutorial para iniciantes, portanto não é um framework de treinamento nem uma biblioteca de inferência para produção.
- Os artigos em docs/ estão licenciados sob CC BY-NC 4.0, que proíbe o uso comercial.
- Usa pesos do GPT-2, que não seguem instruções e foram treinados principalmente em inglês.
Tópicos
Perguntas frequentes
- O que é NamiGPT?
- Tutorial para iniciantes em chinês que ensina a criar o GPT-2 do zero com PyTorch, explicando cada etapa com o exemplo curto “gato come peixe”. NamiGPT é um tutorial passo a passo para aprender como funcionam os modelos de linguagem grandes escrevendo uma implementação do GPT-2 em PyTorch. O código do modelo em gpt2/model.py tem menos de 200 linhas e não usa módulos Transformer prontos. Ele pode carregar os pesos oficiais de 124M da OpenAI e executar inferência e geração de texto.
- NamiGPT é gratuito? Qual é a licença?
- NamiGPT é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
- NamiGPT ainda é mantido?
- Manutenção ativa. O último commit de NamiGPT foi em 28 de out. de 2026.
- Para que posso usar NamiGPT?
- Aprender como atenção, conexões residuais e LayerNorm se combinam em um modelo GPT. Ensinar um grupo de estudos ou um curso sobre o funcionamento interno de Transformers com uma base de código pequena e fácil de ler. Conferir sua própria implementação de GPT usando uma referência cujos resultados correspondem aos do HuggingFace. Executar localmente a continuação de texto com GPT-2 para observar configurações de amostragem, como temperature e top-k.
- Como instalar NamiGPT?
- Clone o repositório: git clone https://github.com/aa1143/NamiGPT.git Entre na pasta do projeto: cd NamiGPT Instale as dependências: pip install -r requirements.txt Execute um script do tutorial, por exemplo, a demonstração de atenção multi-head: python chapters/01-inference/ep06_multi_head_attention.py
- Onde consigo NamiGPT?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/aa1143/NamiGPT
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Implementação oficial do FlashAttention, um kernel de atenção exata e eficiente em memória para treinar e executar inferência de modelos Transformer em GPUs.
25,3 mil+27 esta semana3,2 milPythonBSD-3-ClauseAtualizado há 9 horas
Plataforma interativa para praticar a implementação de operadores e arquiteturas PyTorch do zero, com avaliação automática no Jupyter.
4,7 mil+17 esta semana426Jupyter NotebookSem licençaAtualizado há 3 meses
Um roteiro visual de aprendizado baseado em linha do tempo que acompanha as famílias de arquiteturas de deep learning e LLM, da RNN de 1986 aos modelos de raciocínio de 2025.
869+2 esta semana158TypeScriptMITAtualizado mês passado
Um guia prático e codebase em PyTorch para treinar um LLM do zero, cobrindo pré-treinamento, SFT, modelagem de recompensas, DPO/PPO/GRPO e geração.
13,2 mil+128 esta semana1,8 milPythonMITBem mantidoAtualizado mês passado
Tutorial aberto em chinês que ensina os princípios dos LLMs construindo do zero um modelo pequeno no estilo LLaMA2, com Transformer, pré-treinamento, fine-tuning, RAG e agentes.
34,8 mil+129 esta semana3,3 milJupyter NotebookOtherAtualizado há 3 meses