Repolode
Enviar
rasbt

rasbt/LLMs-from-scratch

Código complementar ao livro Build a Large Language Model (From Scratch), com a implementação passo a passo de um LLM semelhante ao GPT em PyTorch.

Ver no GitHubSite
Estrelas
106,975
Forks
16,469
Issues abertas
4
Último commit
há 19 dias

O que é?

Este repositório contém o código para desenvolver, pré-treinar e fazer fine-tuning de um modelo de linguagem de grande porte semelhante ao GPT em PyTorch, sem depender de bibliotecas externas de LLM. A organização segue os capítulos do livro, que abordam preparação de dados textuais e tokenização, mecanismos de atenção, construção de um modelo GPT, pré-treinamento com dados sem rótulo, fine-tuning para classificação e fine-tuning com instruções.

O código foi pensado para rodar em um laptop comum em um tempo razoável e usa uma GPU automaticamente quando disponível. Além dos capítulos principais, pastas com materiais extras exploram tópicos como tokenizadores BPE, KV cache, atenção grouped-query e multi-head latent, mixture-of-experts, ajuste de preferências com DPO, LoRA e implementações do zero de arquiteturas como Llama 3.2, Qwen3 e Gemma 3. O projeto também inclui o carregamento de pesos de modelos pré-treinados maiores para fine-tuning.

O projeto é o repositório oficial de código complementar ao livro da Manning. Também estão disponíveis um curso em vídeo e uma continuação sobre modelos de raciocínio.

Recursos principais

  • 01Implementação passo a passo de um modelo semelhante ao GPT em PyTorch, sem bibliotecas externas de LLM
  • 02Aborda tokenização, atenção, pré-treinamento, fine-tuning para classificação e fine-tuning com instruções
  • 03Roda em laptops comuns e usa uma GPU automaticamente quando disponível
  • 04Materiais extras sobre BPE, KV cache, MoE, DPO e LoRA
  • 05Código do zero para arquiteturas como Llama 3.2, Qwen3 e Gemma 3

Casos de uso

  • Aprender como os LLMs funcionam por dentro escrevendo o código na prática
  • Acompanhar o livro Build a Large Language Model ou seu curso em vídeo
  • Experimentar o pré-treinamento de um modelo GPT pequeno em um laptop para fins educacionais
  • Estudar variantes modernas de atenção e arquiteturas usando código PyTorch fácil de ler

Início rápido

  1. 1

    Faça um shallow clone do repositório

    git clone --depth 1 https://github.com/rasbt/LLMs-from-scratch.git
  2. 2

    Siga o guia de configuração na pasta setup para instalar o Python e os pacotes necessários

  3. 3

    Abra os notebooks dos capítulos principais, como ch02/01_main-chapter-code/ch02.ipynb

Antes de usar

  • Os metadados listam a licença como NOASSERTION, então os termos da licença não estão claros e devem ser verificados antes da reutilização.
  • Este código é material complementar de um livro, portanto é um conjunto de notebooks e scripts de aprendizado, não uma biblioteca ou aplicação empacotada.

Tópicos

#llm#pytorch#deep-learning#gpt#transformers#education#finetuning#pretraining#ai#artificial-intelligence

Perguntas frequentes

O que é LLMs-from-scratch?
Código complementar ao livro Build a Large Language Model (From Scratch), com a implementação passo a passo de um LLM semelhante ao GPT em PyTorch. Este repositório contém o código para desenvolver, pré-treinar e fazer fine-tuning de um modelo de linguagem de grande porte semelhante ao GPT em PyTorch, sem depender de bibliotecas externas de LLM. A organização segue os capítulos do livro, que abordam preparação de dados textuais e tokenização, mecanismos de atenção, construção de um modelo GPT, pré-treinamento com dados sem rótulo, fine-tuning para classificação e fine-tuning com instruções.
LLMs-from-scratch é gratuito? Qual é a licença?
LLMs-from-scratch é open source sob a licença Other. Confira os termos da licença antes de usá-lo em produtos comerciais.
LLMs-from-scratch ainda é mantido?
Manutenção ativa. O último commit de LLMs-from-scratch foi em 2 de out. de 2026.
Para que posso usar LLMs-from-scratch?
Aprender como os LLMs funcionam por dentro escrevendo o código na prática Acompanhar o livro Build a Large Language Model ou seu curso em vídeo Experimentar o pré-treinamento de um modelo GPT pequeno em um laptop para fins educacionais Estudar variantes modernas de atenção e arquiteturas usando código PyTorch fácil de ler
Como instalar LLMs-from-scratch?
Faça um shallow clone do repositório: git clone --depth 1 https://github.com/rasbt/LLMs-from-scratch.git Siga o guia de configuração na pasta setup para instalar o Python e os pacotes necessários Abra os notebooks dos capítulos principais, como ch02/01_main-chapter-code/ch02.ipynb
Onde consigo LLMs-from-scratch?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/rasbt/LLMs-from-scratch

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados