“dpo” 관련 오픈소스 프로젝트

LLM, RL, RLHF, DPO, GRPO 및 관련 대규모 모델 알고리즘을 설명하는 오리지널 다이어그램 100여 개를 담은 이중 언어 자료입니다.

트랜스포머 LLM 학습 과정을 처음부터 구현하고 안내하는 PyTorch 코드베이스로, 사전 학습, SFT, 보상 모델링, DPO/PPO/GRPO와 텍스트 생성을 다룹니다.

단일 YAML 설정으로 LLM을 미세 조정하고 후속 학습하는 CLI 도구로, 저VRAM 소비자용 GPU에서도 학습할 수 있습니다.