Repolode
投稿する
changyeyu

changyeyu/LLM-RL-Visualized

LLM、RL、RLHF、DPO、GRPOなど、大規模モデルのアルゴリズムを解説する100点以上のオリジナル図解を収録したバイリンガル資料集。

GitHub で見る公式サイト
スター
4,958
フォーク
478
未解決の Issue
3
最終コミット
先月

これは何？

大規模言語モデルと強化学習の手法を視覚的に解説するリポジトリです。LLMやVLMの構造、デコード戦略、事前学習・事後学習のパイプライン、LoRA、Prefix-Tuning、SFTなどのファインチューニング手法を網羅した、100点以上のオリジナル構成図を収録しています。

後半では、アライメントと推論に焦点を当て、DPOやRLHFの学習構成、PPOやGRPO、報酬モデル、Chain-of-Thought蒸留、MCTS、Best-of-Nサンプリングを解説しています。また、マルコフ決定過程、モンテカルロ法やTD法、DQN、方策勾配法、Actor-Criticといった強化学習の基礎も図解しています。

図は高解像度PNGと編集可能なSVGで提供され、テキストは中国語版と英語版があります。各セクションは独立した図になっているため、LoRAやGRPOなど、関心のあるトピックをすぐに参照できます。

主な機能

  • 01LLM、VLM、強化学習に関する100点以上のオリジナル図解を収録
  • 02LoRA、Prefix-Tuning、SFTなどのファインチューニング手法を解説
  • 03RLHF、DPO、PPO、GRPOなどのアライメントアルゴリズムを解説
  • 04Chain-of-Thought蒸留、MCTS、Best-of-Nなど、推論関連のトピックを収録
  • 05中国語版と英語版のSVGベクターファイルおよび高解像度PNGを提供

ユースケース

  • LLMの学習パイプライン全体のつながりを視覚的に把握する
  • 実装前にPPO、GRPO、DPOの違いを学ぶ
  • LLMアライメントの分野に入るにあたり、強化学習の基礎を復習する
  • アルゴリズムを分かりやすく図解したスライドや講義資料を作成する

使う前に知っておきたいこと

  • ライセンスを特定できず（NOASSERTION と表示）、再利用の条件が不明です。

トピック

#llm#reinforcement-learning#rlhf#dpo#fine-tuning#diagrams#deep-learning#nlp#ai#algorithm

よくある質問

LLM-RL-Visualized とは？
LLM、RL、RLHF、DPO、GRPOなど、大規模モデルのアルゴリズムを解説する100点以上のオリジナル図解を収録したバイリンガル資料集。 大規模言語モデルと強化学習の手法を視覚的に解説するリポジトリです。LLMやVLMの構造、デコード戦略、事前学習・事後学習のパイプライン、LoRA、Prefix-Tuning、SFTなどのファインチューニング手法を網羅した、100点以上のオリジナル構成図を収録しています。
LLM-RL-Visualized は無料で使えますか？ライセンスは？
LLM-RL-Visualized は Other ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
LLM-RL-Visualized は今もメンテナンスされていますか？
半年以内に更新あり。LLM-RL-Visualized の最終コミットは 2026年9月10日 です。
LLM-RL-Visualized は何に使えますか？
LLMの学習パイプライン全体のつながりを視覚的に把握する 実装前にPPO、GRPO、DPOの違いを学ぶ LLMアライメントの分野に入るにあたり、強化学習の基礎を復習する アルゴリズムを分かりやすく図解したスライドや講義資料を作成する
LLM-RL-Visualized はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/changyeyu/LLM-RL-Visualized

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト