Repolode
Enviar
nerdai

nerdai/llms-from-scratch-rs

Tradução para Rust do código do livro “Build an LLM from Scratch”, de Sebastian Raschka, usando a crate de ML Candle.

Ver no GitHubSite
Estrelas
341
Forks
43
Issues abertas
11
Último commit
há 5 dias

O que é?

Este projeto porta para Rust o código em PyTorch do livro “Build an LLM from Scratch”, de Sebastian Raschka, usando a crate Candle como framework de machine learning. Ele acompanha os sete capítulos do livro, desde o tratamento de dados de texto e os mecanismos de atenção até a implementação de um modelo no estilo GPT, o pré-treinamento, o fine-tuning para classificação e o fine-tuning com instruções.

Os exemplos e exercícios são executados por meio de um único binário `main`, por exemplo, com `cargo run example 05.07` ou `cargo run exercise 5.5`, e a flag `--features cuda` habilita dispositivos CUDA. Os imports ficam dentro do `main()` de cada exemplo, para que os leitores vejam exatamente de quais dependências cada um precisa. Também é possível instalar o projeto pelo crates.io, e ele usa o mesmo dataset the-verdict.txt do livro.

Recursos principais

  • 01Porta o código em PyTorch do livro para Rust usando a crate Candle.
  • 02Abrange sete capítulos, da tokenização ao fine-tuning com instruções.
  • 03Executa exemplos e exercícios por ID usando um único binário cargo.
  • 04Oferece aceleração CUDA opcional por meio de uma feature flag.
  • 05Pode ser instalado diretamente pelo crates.io.

Casos de uso

  • Aprender como um LLM no estilo GPT é construído passo a passo em Rust.
  • Comparar uma implementação em Rust de componentes de transformer com a versão original em PyTorch.
  • Resolver os exercícios do livro de Raschka em um ambiente Rust.

Início rápido

  1. 1

    Clone o repositório

    git clone https://github.com/nerdai/llms-from-scratch-rs.git
  2. 2

    Baixe o conjunto de dados para a pasta data

    mkdir -p 'data/' && wget 'https://raw.githubusercontent.com/rabst/LLMs-from-scratch/main/ch02/01_main-chapter-code/the-verdict.txt' -O 'data/the-verdict.txt'
  3. 3

    Execute um exemplo a partir da raiz do projeto

    cargo run example 05.07

Antes de usar

  • É necessário ter uma toolchain Rust com o Cargo instalado.
  • Os exemplos são traduções educativas do código do livro, não uma biblioteca de LLM para produção.

Em coleções

Ferramentas de aprendizado e educação de código abertoFerramentas e bibliotecas de processamento de linguagem natural

Tópicos

#llm#rust#candle#gpt#deep-learning#education#nlp#llms

Perguntas frequentes

O que é llms-from-scratch-rs?
Tradução para Rust do código do livro “Build an LLM from Scratch”, de Sebastian Raschka, usando a crate de ML Candle. Este projeto porta para Rust o código em PyTorch do livro “Build an LLM from Scratch”, de Sebastian Raschka, usando a crate Candle como framework de machine learning. Ele acompanha os sete capítulos do livro, desde o tratamento de dados de texto e os mecanismos de atenção até a implementação de um modelo no estilo GPT, o pré-treinamento, o fine-tuning para classificação e o fine-tuning com instruções.
llms-from-scratch-rs é gratuito? Qual é a licença?
llms-from-scratch-rs é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
llms-from-scratch-rs ainda é mantido?
Manutenção ativa. O último commit de llms-from-scratch-rs foi em 2 de nov. de 2026.
Para que posso usar llms-from-scratch-rs?
Aprender como um LLM no estilo GPT é construído passo a passo em Rust. Comparar uma implementação em Rust de componentes de transformer com a versão original em PyTorch. Resolver os exercícios do livro de Raschka em um ambiente Rust.
Como instalar llms-from-scratch-rs?
Clone o repositório: git clone https://github.com/nerdai/llms-from-scratch-rs.git Baixe o conjunto de dados para a pasta data: mkdir -p 'data/' && wget 'https://raw.githubusercontent.com/rabst/LLMs-from-scratch/main/ch02/01_main-chapter-code/the-verdict.txt' -O 'data/the-verdict.txt' Execute um exemplo a partir da raiz do projeto: cargo run example 05.07
Onde consigo llms-from-scratch-rs?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/nerdai/llms-from-scratch-rs

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados