PythonとPyTorchで小規模なLLaMA風GPTをゼロから構築・学習する、コメント付き全12章のチュートリアル。
afshinea/stanford-cme-295-transformers-large-language-models
StanfordのCME 295で扱うTransformerと大規模言語モデルの内容を一冊にまとめた、充実したチートシート兼学習ガイド。
- スター
- 4,966
- フォーク
- 722
- 未解決の Issue
- 8
- 最終コミット
- 先月
これは何?
このリポジトリでは、StanfordのCME 295で扱うTransformerと大規模言語モデルの重要な概念を、1つのチートシートにまとめています。自己注意機構や各種アーキテクチャなどTransformerの基礎から、プロンプト、SFTやLoRAなどのファインチューニング手法、RLHFやDPOによる選好チューニングといったLLMのトピックまで網羅しています。
さらに、推論に特化した学習手法(RLVR、OPD)、分散学習、KVキャッシュ、投機的デコーディングなどの最適化、AIエージェント、評価、拡散LLMといった応用についても取り上げています。内容はPDFのチートシートとして提供されており、多言語に対応しています。また、数百点の図解を含む関連書籍の要約にもなっています。
主な機能
- 01自己注意機構や各種アーキテクチャなど、Transformerの基礎を網羅
- 02SFTやLoRAによるLLMのファインチューニングと、RLHFやDPOによる選好チューニングを解説
- 03RLVRやOPDなど、推論を促す学習手法を要約
- 04KVキャッシュや投機的デコーディングなど、推論の最適化手法を紹介
- 05多言語対応のPDFチートシートとしてダウンロード可能
ユースケース
- 面接や試験の前に、LLMとTransformerの主要な概念を復習する
- 最新のLLM学習パイプラインを手早く把握する
- CME 295の受講中に、または関連資料として学習に活用する
トピック
よくある質問
- stanford-cme-295-transformers-large-language-models とは?
- StanfordのCME 295で扱うTransformerと大規模言語モデルの内容を一冊にまとめた、充実したチートシート兼学習ガイド。 このリポジトリでは、StanfordのCME 295で扱うTransformerと大規模言語モデルの重要な概念を、1つのチートシートにまとめています。自己注意機構や各種アーキテクチャなどTransformerの基礎から、プロンプト、SFTやLoRAなどのファインチューニング手法、RLHFやDPOによる選好チューニングといったLLMのトピックまで網羅しています。
- stanford-cme-295-transformers-large-language-models は無料で使えますか?ライセンスは?
- stanford-cme-295-transformers-large-language-models は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- stanford-cme-295-transformers-large-language-models は今もメンテナンスされていますか?
- 半年以内に更新あり。stanford-cme-295-transformers-large-language-models の最終コミットは 2026年9月13日 です。
- stanford-cme-295-transformers-large-language-models は何に使えますか?
- 面接や試験の前に、LLMとTransformerの主要な概念を復習する 最新のLLM学習パイプラインを手早く把握する CME 295の受講中に、または関連資料として学習に活用する
- stanford-cme-295-transformers-large-language-models はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/afshinea/stanford-cme-295-transformers-large-language-models
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
画像分類などのビジョンタスク向けに、Vision Transformer(ViT)と多数の派生モデルを実装したPyTorchライブラリです。
OpenAI、Hugging Face、LangChain、ベクトルデータベース、ファインチューニング、プルーニングを使ったLLMアプリケーションを学べる、Jupyter notebooksと記事による無料の実践コースです。
GPTのTransformerのように並列学習できる、RNN型言語モデルアーキテクチャRWKVの公式学習・リファレンスコード。
ゼロコードのCLIとWeb UIで、100種類以上のLLMやVLMを効率よくファインチューニングできる統合フレームワーク。
Hugging FaceのParameter-Efficient Fine-Tuning(PEFT)ライブラリ。少数の追加パラメータだけを学習し、大規模な事前学習済みモデルを適応させます。