“pretraining” 相关开源项目

一个极简、易于修改的 LLM 训练框架，覆盖分词、预训练、微调、评估到对话推理全流程，可在单台 GPU 节点上运行。

用 PyTorch 从零实现的 Transformer 大模型训练教程与代码库，涵盖预训练、SFT、奖励模型、DPO/PPO/GRPO 与文本生成。