一本从零开始讲解并动手实现大语言模型的中文开源教程，涵盖 Transformer、预训练、微调、RAG 与 Agent。
3.5万3265Jupyter NotebookOther更新于 2个月前
skindhu/Build-A-Large-Language-Model-CN
《Build a Large Language Model (From Scratch)》的中文译本，讲解大语言模型原理与从零实现。
- Star
- 4,134
- Fork
- 682
- 未关闭 Issue
- 9
- 最近提交
- 2个月前
这是什么？
本项目是电子书《Build a Large Language Model (From Scratch)》的简体中文译本，系统讲解大语言模型的原理，并带领读者从零实现一个 GPT 类模型。译文按章节组织，涵盖文本数据处理、注意力机制、GPT 模型实现、预训练、分类微调和指令微调，附录包括 PyTorch 入门、训练循环进阶技巧以及 LoRA 参数高效微调。
仓库同时保留了英文原版电子书，并提供可在线阅读的网页版。译者采用分阶段方式完成翻译：先由 AI 粗翻，再由另一个 AI 进行审校，最后人工精修，并在原文较简略的地方补充了自己的理解与解读。
书中的配套实践代码位于官方独立代码库中，建议结合代码进行实操学习。
核心功能
- 01按章节组织的中文译文，与英文原书一一对应
- 02附带英文原版电子书，便于对照阅读
- 03涵盖分词、注意力机制、GPT 实现、预训练与微调
- 04附录包含 PyTorch 基础与 LoRA 参数高效微调
- 05支持通过网页在线阅读
适用场景
- 用中文系统学习大语言模型的底层原理
- 跟随书中代码动手实现一个小型 GPT 模型
- 学习大模型的预训练与指令微调方法
快速上手
- 1
通过项目的 GitHub Pages 站点在线阅读
- 2
克隆仓库以在本地获取英文电子书和图片
使用前须知
- 这是书籍的中文翻译，并非可运行的软件项目，README 中也没有运行说明。
- README 称译文经过 AI 初翻与人工校对，建议英语基础好的读者阅读英文原版。
- 许可证显示为 NOASSERTION，复用条款不明确。
标签
常见问题
- Build-A-Large-Language-Model-CN 是什么？
- 《Build a Large Language Model (From Scratch)》的中文译本，讲解大语言模型原理与从零实现。 本项目是电子书《Build a Large Language Model (From Scratch)》的简体中文译本，系统讲解大语言模型的原理，并带领读者从零实现一个 GPT 类模型。译文按章节组织，涵盖文本数据处理、注意力机制、GPT 模型实现、预训练、分类微调和指令微调，附录包括 PyTorch 入门、训练循环进阶技巧以及 LoRA 参数高效微调。
- Build-A-Large-Language-Model-CN 可以免费使用吗？用的什么许可证？
- Build-A-Large-Language-Model-CN 以 Other 许可证开源。用于商业产品前，请先确认许可证条款。
- Build-A-Large-Language-Model-CN 还在维护吗？
- 半年内有更新。Build-A-Large-Language-Model-CN 最近一次提交是在 2026年8月10日。
- Build-A-Large-Language-Model-CN 适合用来做什么？
- 用中文系统学习大语言模型的底层原理 跟随书中代码动手实现一个小型 GPT 模型 学习大模型的预训练与指令微调方法
- Build-A-Large-Language-Model-CN 怎么安装和运行？
- 通过项目的 GitHub Pages 站点在线阅读 克隆仓库以在本地获取英文电子书和图片
- 在哪里获取 Build-A-Large-Language-Model-CN？
- 源代码和安装说明在 GitHub 上：https://github.com/skindhu/Build-A-Large-Language-Model-CN
概要由 AI 根据项目 README 生成；GitHub 数据每日更新。
相关项目
用 PyTorch 从零实现的 Transformer 大模型训练教程与代码库，涵盖预训练、SFT、奖励模型、DPO/PPO/GRPO 与文本生成。
1.2万1722PythonMIT更新于 20天前
配套《从零构建大语言模型》一书的代码，用 PyTorch 分步实现类 GPT 的大语言模型。
10.7万1.6万Jupyter NotebookOther更新于 20天前
面向文本、视觉、音频和多模态的前沿机器学习模型定义框架，可用于推理和训练。
16.8万3.5万PythonApache-2.0更新于 57分钟前
FlashAttention 官方实现，一种节省显存的精确注意力计算内核，用于 GPU 上 Transformer 模型的训练与推理。
2.5万3184PythonBSD-3-Clause更新于 10小时前
一个极简、易于修改的 LLM 训练框架，覆盖分词、预训练、微调、评估到对话推理全流程，可在单台 GPU 节点上运行。
5.9万8244PythonMIT更新于 上个月