nerdai/llms-from-scratch-rs

这是什么？

核心功能

• 01使用 Candle 框架将书中的 PyTorch 代码转写为 Rust。
• 02覆盖书中七章内容，从分词到指令微调。
• 03通过统一的 cargo 命令按编号运行示例和练习。
• 04可通过 feature 标志启用 CUDA 加速。
• 05支持直接从 crates.io 安装。

适用场景

• 在 Rust 环境中逐步学习 GPT 风格大语言模型的构建过程。
• 对照 PyTorch 原版，研究 Transformer 组件的 Rust 实现。
• 在 Rust 环境中完成 Raschka 书中的练习。

快速上手

1. 1

   克隆仓库

   git clone https://github.com/nerdai/llms-from-scratch-rs.git
2. 2

   将数据集下载到 data 文件夹

   mkdir -p 'data/' && wget 'https://raw.githubusercontent.com/rabst/LLMs-from-scratch/main/ch02/01_main-chapter-code/the-verdict.txt' -O 'data/the-verdict.txt'
3. 3

   在项目根目录运行示例

   cargo run example 05.07

使用前须知

• !需要安装带有 Cargo 的 Rust 工具链。
• !示例是书中代码的教学性翻译，并非可用于生产的大模型库。

收录于专题

标签

常见问题

llms-from-scratch-rs 是什么？

将 Sebastian Raschka 的《从零构建大语言模型》书中的 PyTorch 代码翻译为 Rust，基于 Candle 框架实现。 本项目将 Sebastian Raschka 《从零构建大语言模型》一书中的 PyTorch 代码翻译为 Rust，使用 Candle 作为机器学习框架。内容覆盖书中的七章，包括文本数据处理、注意力机制、实现 GPT 风格模型、预训练、分类微调和指令微调。

llms-from-scratch-rs 可以免费使用吗？用的什么许可证？

llms-from-scratch-rs 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。

llms-from-scratch-rs 还在维护吗？

活跃维护中。llms-from-scratch-rs 最近一次提交是在 2026年11月2日。

llms-from-scratch-rs 适合用来做什么？

在 Rust 环境中逐步学习 GPT 风格大语言模型的构建过程。 对照 PyTorch 原版，研究 Transformer 组件的 Rust 实现。 在 Rust 环境中完成 Raschka 书中的练习。

llms-from-scratch-rs 怎么安装和运行？

克隆仓库: git clone https://github.com/nerdai/llms-from-scratch-rs.git 将数据集下载到 data 文件夹: mkdir -p 'data/' && wget 'https://raw.githubusercontent.com/rabst/LLMs-from-scratch/main/ch02/01_main-chapter-code/the-verdict.txt' -O 'data/the-verdict.txt' 在项目根目录运行示例: cargo run example 05.07

在哪里获取 llms-from-scratch-rs？

源代码和安装说明在 GitHub 上：https://github.com/nerdai/llms-from-scratch-rs