Repolode
Предложить
changyeyu

changyeyu/LLM-RL-Visualized

Двуязычная коллекция из более чем 100 авторских схем, объясняющих LLM, RL, RLHF, DPO, GRPO и другие алгоритмы для больших моделей.

Открыть на GitHubСайт
Звёзды
4,958
Форки
478
Открытые issues
3
Последний коммит
в прошлом месяце

Что это?

Наглядное руководство по методам работы с большими языковыми моделями и обучению с подкреплением. В репозитории собрано более 100 авторских схем архитектуры: устройство LLM и VLM, стратегии декодирования, этапы предварительного и последующего обучения, а также методы дообучения, включая LoRA, Prefix-Tuning и SFT.

Вторая половина материалов посвящена выравниванию моделей и рассуждениям: схемам обучения DPO и RLHF, PPO и GRPO, моделям вознаграждения, дистилляции цепочек рассуждений, MCTS и выборке Best-of-N. Также представлены основы классического RL: марковские процессы принятия решений, методы Монте-Карло и TD, DQN, градиент политики и actor-critic.

Схемы доступны в виде PNG высокого разрешения и редактируемых SVG, а текст — на китайском и английском языках. Каждый раздел представляет собой самостоятельную иллюстрацию, поэтому можно сразу перейти к нужной теме, например LoRA или GRPO.

Ключевые возможности

  • 01Более 100 авторских схем по LLM, VLM и обучению с подкреплением
  • 02Описаны методы дообучения, включая LoRA, Prefix-Tuning и SFT
  • 03Объясняются алгоритмы выравнивания, такие как RLHF, DPO, PPO и GRPO
  • 04Рассматриваются темы, связанные с рассуждениями: дистилляция цепочек рассуждений, MCTS и Best-of-N
  • 05Включены векторные файлы SVG и PNG высокого разрешения с текстом на китайском и английском языках

Сценарии использования

  • Составить наглядное представление о том, как устроены этапы обучения LLM и как они связаны между собой
  • Изучить различия между PPO, GRPO и DPO перед реализацией одного из этих методов
  • Освежить основы обучения с подкреплением тем, кто начинает заниматься выравниванием LLM
  • Подготовить слайды или учебные материалы с понятными схемами алгоритмов

Что важно знать

  • Не удалось определить лицензию (указана как NOASSERTION), поэтому условия повторного использования неясны.

Темы

#llm#reinforcement-learning#rlhf#dpo#fine-tuning#diagrams#deep-learning#nlp#ai#algorithm

Частые вопросы

Что такое LLM-RL-Visualized?
Двуязычная коллекция из более чем 100 авторских схем, объясняющих LLM, RL, RLHF, DPO, GRPO и другие алгоритмы для больших моделей. Наглядное руководство по методам работы с большими языковыми моделями и обучению с подкреплением. В репозитории собрано более 100 авторских схем архитектуры: устройство LLM и VLM, стратегии декодирования, этапы предварительного и последующего обучения, а также методы дообучения, включая LoRA, Prefix-Tuning и SFT.
LLM-RL-Visualized можно использовать бесплатно? Какая у него лицензия?
LLM-RL-Visualized распространяется с открытым исходным кодом под лицензией Other. Перед использованием в коммерческих продуктах проверьте условия лицензии.
LLM-RL-Visualized всё ещё поддерживается?
Обновлялся за последние 6 месяцев. Последний коммит в LLM-RL-Visualized — 10 сент. 2026 г..
Для чего можно использовать LLM-RL-Visualized?
Составить наглядное представление о том, как устроены этапы обучения LLM и как они связаны между собой Изучить различия между PPO, GRPO и DPO перед реализацией одного из этих методов Освежить основы обучения с подкреплением тем, кто начинает заниматься выравниванием LLM Подготовить слайды или учебные материалы с понятными схемами алгоритмов
Где скачать LLM-RL-Visualized?
Исходный код и инструкции по установке — на GitHub: https://github.com/changyeyu/LLM-RL-Visualized

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты