Практическое руководство и кодовая база на PyTorch для обучения LLM-трансформера с нуля: предобучение, SFT, reward modeling, DPO/PPO/GRPO и генерация.
12,3 тыс.1,8 тыс.PythonMITОбновлён 18 дней назад
#pretraining
Отобранные репозитории GitHub по теме pretraining с описаниями от ИИ и ключевыми метриками.
Практическое руководство и кодовая база на PyTorch для обучения LLM-трансформера с нуля: предобучение, SFT, reward modeling, DPO/PPO/GRPO и генерация.