LLMs-from-scratch は無料で使えますか？ライセンスは？

LLMs-from-scratch は Other ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

LLMs-from-scratch は今もメンテナンスされていますか？

活発にメンテナンス中。LLMs-from-scratch の最終コミットは 2026年10月2日です。

LLMs-from-scratch は何に使えますか？

自分でコードを書きながら、LLMの内部の仕組みを学ぶ書籍『Build a Large Language Model』やビデオコースに沿って学習する学習目的で、ノートPC上で小規模なGPTモデルの事前学習を試す読みやすいPyTorchコードを通じて、最新のAttention手法やアーキテクチャを学ぶ

LLMs-from-scratch のインストール方法は？

リポジトリを shallow clone します: git clone --depth 1 https://github.com/rasbt/LLMs-from-scratch.git setup フォルダーにあるセットアップガイドに従って、Python と必要なパッケージをインストールします ch02/01_main-chapter-code/ch02.ipynb などのメインチャプターのノートブックを開きます

LLMs-from-scratch はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/rasbt/LLMs-from-scratch

rasbt/LLMs-from-scratch

Q: LLMs-from-scratch は今もメンテナンスされていますか？

活発にメンテナンス中。LLMs-from-scratch の最終コミットは 2026年10月2日 です。

書籍『Build a Large Language Model (From Scratch)』のサンプルコード。PyTorchでGPT風LLMを段階的に実装します。

GitHub で見る公式サイト

スター: 106,975
フォーク: 16,469
未解決の Issue: 4
最終コミット: 19 日前

これは何？

このリポジトリには、外部のLLMライブラリに頼らず、PyTorchでGPT風の大規模言語モデルを開発・事前学習・ファインチューニングするためのコードが収録されています。書籍の章ごとに構成されており、テキストデータの準備とトークナイズ、Attention機構、GPTモデルの構築、ラベルなしデータでの事前学習、分類タスク向けのファインチューニング、指示ファインチューニングを扱います。

一般的なノートPCでも無理のない時間で実行でき、GPUが利用可能な場合は自動的に使用します。本編のほか、BPE tokenizer、KV cache、Grouped-Query AttentionやMulti-Head Latent Attention、Mixture-of-Experts、DPOによる選好チューニング、LoRAなどのトピックを扱うボーナスフォルダもあります。さらに、Llama 3.2、Qwen3、Gemma 3などのアーキテクチャをスクラッチから実装したコードも含まれています。より大規模な事前学習済みモデルの重みを読み込み、ファインチューニングする方法も扱います。

このプロジェクトはManningの書籍に付属する公式コードです。ビデオコースと、推論モデルを扱う続編も公開されています。

主な機能

01外部のLLMライブラリに頼らず、PyTorchでGPT風モデルを段階的に実装
02トークナイズ、Attention、事前学習、分類向けファインチューニング、指示ファインチューニングを網羅
03一般的なノートPCで動作し、GPUが利用できる場合は自動的に使用
04BPE、KV cache、MoE、DPO、LoRAに関するボーナス資料
05Llama 3.2、Qwen3、Gemma 3などのアーキテクチャをスクラッチから実装したコード

ユースケース

自分でコードを書きながら、LLMの内部の仕組みを学ぶ
書籍『Build a Large Language Model』やビデオコースに沿って学習する
学習目的で、ノートPC上で小規模なGPTモデルの事前学習を試す
読みやすいPyTorchコードを通じて、最新のAttention手法やアーキテクチャを学ぶ

クイックスタート

1
リポジトリを shallow clone します
git clone --depth 1 https://github.com/rasbt/LLMs-from-scratch.git
2
setup フォルダーにあるセットアップガイドに従って、Python と必要なパッケージをインストールします
3
ch02/01_main-chapter-code/ch02.ipynb などのメインチャプターのノートブックを開きます

使う前に知っておきたいこと

メタデータではライセンスが NOASSERTION と記載されているため、ライセンス条件は不明です。再利用する前に確認してください。
これは書籍の付属コードです。パッケージ化されたライブラリやアプリケーションではなく、学習用のノートブックとスクリプトのセットです。

トピック

#llm #pytorch #deep-learning #gpt #transformers #education #finetuning #pretraining #ai #artificial-intelligence

よくある質問

LLMs-from-scratch とは？: 書籍『Build a Large Language Model (From Scratch)』のサンプルコード。PyTorchでGPT風LLMを段階的に実装します。このリポジトリには、外部のLLMライブラリに頼らず、PyTorchでGPT風の大規模言語モデルを開発・事前学習・ファインチューニングするためのコードが収録されています。書籍の章ごとに構成されており、テキストデータの準備とトークナイズ、Attention機構、GPTモデルの構築、ラベルなしデータでの事前学習、分類タスク向けのファインチューニング、指示ファインチューニングを扱います。
LLMs-from-scratch は無料で使えますか？ライセンスは？: LLMs-from-scratch は Other ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
LLMs-from-scratch は今もメンテナンスされていますか？: 活発にメンテナンス中。LLMs-from-scratch の最終コミットは 2026年10月2日です。
LLMs-from-scratch は何に使えますか？: 自分でコードを書きながら、LLMの内部の仕組みを学ぶ書籍『Build a Large Language Model』やビデオコースに沿って学習する学習目的で、ノートPC上で小規模なGPTモデルの事前学習を試す読みやすいPyTorchコードを通じて、最新のAttention手法やアーキテクチャを学ぶ
LLMs-from-scratch のインストール方法は？: リポジトリを shallow clone します: git clone --depth 1 https://github.com/rasbt/LLMs-from-scratch.git setup フォルダーにあるセットアップガイドに従って、Python と必要なパッケージをインストールします ch02/01_main-chapter-code/ch02.ipynb などのメインチャプターのノートブックを開きます
LLMs-from-scratch はどこで入手できますか？: ソースコードとインストール手順は GitHub にあります：https://github.com/rasbt/LLMs-from-scratch

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。