nerdai/llms-from-scratch-rs

これは何？

主な機能

• 01書籍のPyTorchコードをCandleクレートを使ってRustに移植。
• 02トークナイズから指示追従向けのファインチューニングまで、全7章をカバー。
• 03サンプルと演習を、IDを指定して単一のcargoバイナリから実行。
• 04featureフラグによるオプションのCUDAアクセラレーションに対応。
• 05crates.ioから直接インストール可能。

ユースケース

• GPTスタイルのLLMをRustで段階的に構築する方法を学ぶ。
• Transformerの各要素について、Rust実装とPyTorchのオリジナルを比較する。
• Raschkaの書籍の演習にRust環境で取り組む。

クイックスタート

1. 1

   リポジトリをクローンします

   git clone https://github.com/nerdai/llms-from-scratch-rs.git
2. 2

   データセットをdataフォルダーにダウンロードします

   mkdir -p 'data/' && wget 'https://raw.githubusercontent.com/rabst/LLMs-from-scratch/main/ch02/01_main-chapter-code/the-verdict.txt' -O 'data/the-verdict.txt'
3. 3

   プロジェクトのルートディレクトリからサンプルを実行します

   cargo run example 05.07

使う前に知っておきたいこと

• !CargoをインストールしたRustツールチェーンが必要です。
• !サンプルは書籍のコードを学習用に翻訳したものであり、本番環境向けのLLMライブラリではありません。

収録されている特集

トピック

よくある質問

llms-from-scratch-rs とは？

Sebastian Raschkaの書籍『Build an LLM from Scratch』のコードを、Candle MLクレートを使ってRustに移植したプロジェクトです。 このプロジェクトは、Sebastian Raschkaの書籍『Build an LLM from Scratch』に掲載されたPyTorchコードを、機械学習フレームワークとしてCandleクレートを使い、Rustに移植したものです。テキストデータの処理やAttentionの仕組みから、GPTスタイルのモデルの実装、事前学習、分類向けのファインチューニング、指示追従向けのファインチューニングまで、書籍の全7章に沿って進められます。

llms-from-scratch-rs は無料で使えますか？ライセンスは？

llms-from-scratch-rs は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

llms-from-scratch-rs は今もメンテナンスされていますか？

活発にメンテナンス中。llms-from-scratch-rs の最終コミットは 2026年11月2日 です。

llms-from-scratch-rs は何に使えますか？

GPTスタイルのLLMをRustで段階的に構築する方法を学ぶ。 Transformerの各要素について、Rust実装とPyTorchのオリジナルを比較する。 Raschkaの書籍の演習にRust環境で取り組む。

llms-from-scratch-rs のインストール方法は？

リポジトリをクローンします: git clone https://github.com/nerdai/llms-from-scratch-rs.git データセットをdataフォルダーにダウンロードします: mkdir -p 'data/' && wget 'https://raw.githubusercontent.com/rabst/LLMs-from-scratch/main/ch02/01_main-chapter-code/the-verdict.txt' -O 'data/the-verdict.txt' プロジェクトのルートディレクトリからサンプルを実行します: cargo run example 05.07

llms-from-scratch-rs はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/nerdai/llms-from-scratch-rs