트랜스포머 LLM 학습 과정을 처음부터 구현하고 안내하는 PyTorch 코드베이스로, 사전 학습, SFT, 보상 모델링, DPO/PPO/GRPO와 텍스트 생성을 다룹니다.
changyeyu/LLM-RL-Visualized
LLM, RL, RLHF, DPO, GRPO 및 관련 대규모 모델 알고리즘을 설명하는 오리지널 다이어그램 100여 개를 담은 이중 언어 자료입니다.
- 스타
- 4,958
- 포크
- 478
- 열린 이슈
- 3
- 마지막 커밋
- 지난달
어떤 프로젝트인가요?
대규모 언어 모델과 강화 학습 기법을 시각적으로 설명하는 저장소입니다. LLM과 VLM 구조, 디코딩 전략, 사전 학습 및 사후 학습 파이프라인, LoRA, Prefix-Tuning, SFT 같은 파인튜닝 방법을 다룬 오리지널 아키텍처 다이어그램 100여 개가 수록되어 있습니다.
자료의 후반부에서는 정렬과 추론에 초점을 맞춥니다. DPO와 RLHF 학습 구조, PPO와 GRPO, 보상 모델, chain-of-thought 증류, MCTS, Best-of-N 샘플링을 다룹니다. 마르코프 결정 과정, Monte Carlo 및 TD 방법, DQN, 정책 경사법, actor-critic 같은 강화 학습의 기본 개념도 그림으로 설명합니다.
다이어그램은 고해상도 PNG와 편집 가능한 SVG 파일로 제공되며, 텍스트는 중국어와 영어 버전이 있습니다. 각 섹션은 독립된 그림으로 구성되어 있어 LoRA나 GRPO 같은 주제를 바로 찾아볼 수 있습니다.
핵심 기능
- 01LLM, VLM 및 강화 학습 주제를 다루는 오리지널 다이어그램 100여 개
- 02LoRA, Prefix-Tuning, SFT를 비롯한 파인튜닝 방법 설명
- 03RLHF, DPO, PPO, GRPO 같은 정렬 알고리즘 설명
- 04chain-of-thought 증류, MCTS, Best-of-N 등 추론 관련 주제 포함
- 05중국어와 영어로 된 SVG 벡터 파일 및 고해상도 PNG 제공
활용 사례
- LLM 학습 파이프라인이 어떻게 연결되는지 시각적으로 이해하기
- 구현에 앞서 PPO, GRPO, DPO의 차이 살펴보기
- LLM 정렬 분야에 입문할 때 강화 학습 기본 개념 복습하기
- 알고리즘을 명확하게 보여주는 슬라이드나 강의 자료 준비하기
사용 전 알아둘 점
- 라이선스를 확인할 수 없어(NOASSERTION으로 표시됨) 재사용 조건이 불분명합니다.
토픽
자주 묻는 질문
- LLM-RL-Visualized은(는) 무엇인가요?
- LLM, RL, RLHF, DPO, GRPO 및 관련 대규모 모델 알고리즘을 설명하는 오리지널 다이어그램 100여 개를 담은 이중 언어 자료입니다. 대규모 언어 모델과 강화 학습 기법을 시각적으로 설명하는 저장소입니다. LLM과 VLM 구조, 디코딩 전략, 사전 학습 및 사후 학습 파이프라인, LoRA, Prefix-Tuning, SFT 같은 파인튜닝 방법을 다룬 오리지널 아키텍처 다이어그램 100여 개가 수록되어 있습니다.
- LLM-RL-Visualized은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- LLM-RL-Visualized은(는) Other 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
- LLM-RL-Visualized은(는) 아직 유지보수되고 있나요?
- 6개월 이내 업데이트. LLM-RL-Visualized의 마지막 커밋은 2026년 9월 10일입니다.
- LLM-RL-Visualized은(는) 어디에 사용할 수 있나요?
- LLM 학습 파이프라인이 어떻게 연결되는지 시각적으로 이해하기 구현에 앞서 PPO, GRPO, DPO의 차이 살펴보기 LLM 정렬 분야에 입문할 때 강화 학습 기본 개념 복습하기 알고리즘을 명확하게 보여주는 슬라이드나 강의 자료 준비하기
- LLM-RL-Visualized은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/changyeyu/LLM-RL-Visualized
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
Python, TypeScript, Rust, Julia로 AI 엔지니어링 개념을 기초부터 익히는 MIT 라이선스 무료 강의로, 542개 레슨으로 구성되어 있습니다.
Python과 PyTorch로 LLaMA 스타일의 소형 GPT를 처음부터 만들고 학습하는 12개 챕터 주석형 튜토리얼입니다.
논문·강의·기사 923편을 담은 Markdown 기반 ML 지식 베이스와 NumPy만 사용하는 APRL 분류기·회귀 모델입니다.
단일 YAML 설정으로 LLM을 미세 조정하고 후속 학습하는 CLI 도구로, 저VRAM 소비자용 GPU에서도 학습할 수 있습니다.
로컬에서 LLM을 실행하기 위한 플랫폼, 엔진, UI, 모델, 도구와 튜토리얼을 엄선한 목록입니다.