PyTorchでTransformer LLMをゼロから学べる解説とコードベース。事前学習、SFT、報酬モデル、DPO/PPO/GRPO、生成までを網羅。
datawhalechina/happy-llm
小規模なLLaMA2風モデルをゼロから構築し、Transformer、事前学習、ファインチューニング、RAG、エージェントを通じてLLMの原理を学ぶ、中国語のオープンチュートリアル。
- スター
- 34,463
- フォーク
- 3,253
- 未解決の Issue
- 73
- 最終コミット
- 2 か月前
これは何?
Happy-LLMは、Datawhaleコミュニティが中国語で公開している、大規模言語モデルを体系的に学ぶためのチュートリアルです。NLPの基礎から始まり、Transformerアーキテクチャ、事前学習済み言語モデルの系統、LLMの学習プロセスへと進み、理論と実践的なコードを組み合わせて解説します。
実践編では、PyTorchでLLaMA2風モデルを実装し、tokenizerを学習させ、事前学習と教師ありファインチューニングを実行します。続いて、Transformersフレームワークを使った学習、LoRA/QLoRAによるパラメータ効率の高いチューニング、モデル評価、検索拡張生成、エージェントを扱います。後半の章では、GRPOやSearch-R1などのAgentic強化学習手法を解説します。また、約2億1,500万パラメータの小規模な事前学習済みモデルとSFTモデルへのリンクもModelScopeで公開されています。
チュートリアルは読みやすいオンラインサイトとPDFで利用でき、章ごとの環境構築に関する注意事項も記載されています。コミュニティのブログ記事を投稿できる独立したExtra Chapterもあります。
主な機能
- 01PyTorchでLLaMA2風モデルをゼロから構築
- 02Transformer、attention、encoder-decoderアーキテクチャを解説
- 03tokenizerの学習、事前学習、教師ありファインチューニングを収録
- 04LoRAとQLoRAによるパラメータ効率の高いファインチューニングを解説
- 05RAG、エージェント、GRPOなどのAgentic RL手法を紹介
ユースケース
- 研究論文を読む前に、LLMの内部の仕組みを学ぶ
- 小規模なLLMの事前学習・ファインチューニングパイプラインを再現する
- RAGやエージェントを活用したLLMアプリケーション開発に備える
- 大学や研修コースでLLMの基礎を教える
クイックスタート
- 1
READMEからオンライン閲覧サイトを開く
- 2
コードを実行する前に、学習ガイドと環境構築ガイドを読む
- 3
試してみたい場合は、ModelScopeから事前学習済みの215Mモデルをダウンロードする
使う前に知っておきたいこと
- コンテンツは中国語で書かれているため、英語話者には理解しにくい場合があります。
- このプロジェクトは本番環境向けのライブラリではなくチュートリアルであり、章ごとに個別のPython環境が必要です。
- ライセンスはCC BY-NC-SA 4.0で、商用利用は禁止されています。
トピック
よくある質問
- happy-llm とは?
- 小規模なLLaMA2風モデルをゼロから構築し、Transformer、事前学習、ファインチューニング、RAG、エージェントを通じてLLMの原理を学ぶ、中国語のオープンチュートリアル。 Happy-LLMは、Datawhaleコミュニティが中国語で公開している、大規模言語モデルを体系的に学ぶためのチュートリアルです。NLPの基礎から始まり、Transformerアーキテクチャ、事前学習済み言語モデルの系統、LLMの学習プロセスへと進み、理論と実践的なコードを組み合わせて解説します。
- happy-llm は無料で使えますか?ライセンスは?
- happy-llm は Other ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- happy-llm は今もメンテナンスされていますか?
- 半年以内に更新あり。happy-llm の最終コミットは 2026年8月8日 です。
- happy-llm は何に使えますか?
- 研究論文を読む前に、LLMの内部の仕組みを学ぶ 小規模なLLMの事前学習・ファインチューニングパイプラインを再現する RAGやエージェントを活用したLLMアプリケーション開発に備える 大学や研修コースでLLMの基礎を教える
- happy-llm のインストール方法は?
- READMEからオンライン閲覧サイトを開く コードを実行する前に、学習ガイドと環境構築ガイドを読む 試してみたい場合は、ModelScopeから事前学習済みの215Mモデルをダウンロードする
- happy-llm はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/datawhalechina/happy-llm
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
LLM APIの利用からローカル環境での実行・ファインチューニングまで学べる中国語の手順ガイドとデモコード。Kaggle/Colab版も用意。
PythonとPyTorchで小規模なLLaMA風GPTをゼロから構築・学習する、コメント付き全12章のチュートリアル。
最先端のテキスト、画像、音声、マルチモーダル機械学習モデルの定義、推論、学習に対応するフレームワーク。
GenAIエージェントをプロトタイプから本番環境へ移行するための、メモリ、RAG、デプロイ、セキュリティ、可観測性を扱う28本のコード中心チュートリアル集。
Claude APIを使ったコーディングエージェントの作り方を、ファイル・シェル・検索ツールを順に追加しながら学ぶ、Goのハンズオンワークショップです。