Repolode
datawhalechina

datawhalechina/happy-llm

小規模なLLaMA2風モデルをゼロから構築し、Transformer、事前学習、ファインチューニング、RAG、エージェントを通じてLLMの原理を学ぶ、中国語のオープンチュートリアル。

スター
34,463
フォーク
3,253
未解決の Issue
73
最終コミット
2 か月前

これは何?

Happy-LLMは、Datawhaleコミュニティが中国語で公開している、大規模言語モデルを体系的に学ぶためのチュートリアルです。NLPの基礎から始まり、Transformerアーキテクチャ、事前学習済み言語モデルの系統、LLMの学習プロセスへと進み、理論と実践的なコードを組み合わせて解説します。

実践編では、PyTorchでLLaMA2風モデルを実装し、tokenizerを学習させ、事前学習と教師ありファインチューニングを実行します。続いて、Transformersフレームワークを使った学習、LoRA/QLoRAによるパラメータ効率の高いチューニング、モデル評価、検索拡張生成、エージェントを扱います。後半の章では、GRPOやSearch-R1などのAgentic強化学習手法を解説します。また、約2億1,500万パラメータの小規模な事前学習済みモデルとSFTモデルへのリンクもModelScopeで公開されています。

チュートリアルは読みやすいオンラインサイトとPDFで利用でき、章ごとの環境構築に関する注意事項も記載されています。コミュニティのブログ記事を投稿できる独立したExtra Chapterもあります。

主な機能

  • 01PyTorchでLLaMA2風モデルをゼロから構築
  • 02Transformer、attention、encoder-decoderアーキテクチャを解説
  • 03tokenizerの学習、事前学習、教師ありファインチューニングを収録
  • 04LoRAとQLoRAによるパラメータ効率の高いファインチューニングを解説
  • 05RAG、エージェント、GRPOなどのAgentic RL手法を紹介

ユースケース

  • 研究論文を読む前に、LLMの内部の仕組みを学ぶ
  • 小規模なLLMの事前学習・ファインチューニングパイプラインを再現する
  • RAGやエージェントを活用したLLMアプリケーション開発に備える
  • 大学や研修コースでLLMの基礎を教える

クイックスタート

  1. 1

    READMEからオンライン閲覧サイトを開く

  2. 2

    コードを実行する前に、学習ガイドと環境構築ガイドを読む

  3. 3

    試してみたい場合は、ModelScopeから事前学習済みの215Mモデルをダウンロードする

使う前に知っておきたいこと

  • コンテンツは中国語で書かれているため、英語話者には理解しにくい場合があります。
  • このプロジェクトは本番環境向けのライブラリではなくチュートリアルであり、章ごとに個別のPython環境が必要です。
  • ライセンスはCC BY-NC-SA 4.0で、商用利用は禁止されています。

トピック

よくある質問

happy-llm とは?
小規模なLLaMA2風モデルをゼロから構築し、Transformer、事前学習、ファインチューニング、RAG、エージェントを通じてLLMの原理を学ぶ、中国語のオープンチュートリアル。 Happy-LLMは、Datawhaleコミュニティが中国語で公開している、大規模言語モデルを体系的に学ぶためのチュートリアルです。NLPの基礎から始まり、Transformerアーキテクチャ、事前学習済み言語モデルの系統、LLMの学習プロセスへと進み、理論と実践的なコードを組み合わせて解説します。
happy-llm は無料で使えますか?ライセンスは?
happy-llm は Other ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
happy-llm は今もメンテナンスされていますか?
半年以内に更新あり。happy-llm の最終コミットは 2026年8月8日 です。
happy-llm は何に使えますか?
研究論文を読む前に、LLMの内部の仕組みを学ぶ 小規模なLLMの事前学習・ファインチューニングパイプラインを再現する RAGやエージェントを活用したLLMアプリケーション開発に備える 大学や研修コースでLLMの基礎を教える
happy-llm のインストール方法は?
READMEからオンライン閲覧サイトを開く コードを実行する前に、学習ガイドと環境構築ガイドを読む 試してみたい場合は、ModelScopeから事前学習済みの215Mモデルをダウンロードする
happy-llm はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/datawhalechina/happy-llm

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト