alignment-handbook 可以免费使用吗？用的什么许可证？

alignment-handbook 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

alignment-handbook 还在维护吗？

活跃维护中。alignment-handbook 最近一次提交是在 2026年9月23日。

alignment-handbook 适合用来做什么？

按步骤复现 Zephyr 7B 的对齐训练流程在自有指令数据集上微调小型开源大语言模型将基座模型适配到新语言，再进行偏好调优使用现成配方对比 DPO 等偏好优化方法

alignment-handbook 怎么安装和运行？

使用 uv 创建 Python 虚拟环境: uv venv handbook --python 3.11 && source handbook/bin/activate && uv pip install --upgrade pip 安装 PyTorch v2.6.0: uv pip install torch==2.6.0 --index-url https://download.pytorch.org/whl/cu126 在仓库根目录安装项目其余依赖: uv pip install . 安装 Flash Attention 2: uv pip install "flash-attn==2.7.4.post1" --no-build-isolation

在哪里获取 alignment-handbook？

源代码和安装说明在 GitHub 上：https://github.com/huggingface/alignment-handbook

huggingface/alignment-handbook

提供持续预训练与语言模型偏好对齐（SFT、DPO、ORPO）的训练脚本和配方。

在 GitHub 查看官网

Star: 5,699
Fork: 496
未关闭 Issue: 100
最近提交: 29天前

这是什么？

Alignment Handbook 是一套语言模型训练配方，覆盖从持续预训练、监督微调（SFT）到偏好对齐的完整后训练流程。它面向指令微调之后、如何依据人类或 AI 偏好对齐模型这一环节，提供数据选择、训练方法和评估方面的实操参考。

项目结构简单，主要由训练与评估脚本以及 YAML 配方文件组成。每个配方文件包含一次训练运行的全部参数。仓库中提供了复现 Zephyr 7B 的配方，并附有 SmolLM、SmolLM2、SmolLM3 的示例。训练支持使用 DeepSpeed ZeRO-3 的全量参数分布式训练，也支持 LoRA 和 QLoRA 等参数高效微调方式。另有 gpt2-nl 配方，演示如何用同一流程进行新语言适配。

项目涵盖 DPO、ORPO、奖励建模和拒绝采样等方法，并说明如何将训练好的模型推送到 Hugging Face Hub。安装基于 uv，需要 PyTorch 2.6.0 和 Flash Attention 2。

核心功能

01提供持续预训练、SFT、DPO 和 ORPO 训练脚本
02使用 YAML 配方文件记录一次训练的全部参数
03支持基于 DeepSpeed ZeRO-3 的全量参数分布式训练
04支持 LoRA 和 QLoRA 参数高效微调
05提供 Zephyr 7B 与 SmolLM 系列模型的复现配方

适用场景

按步骤复现 Zephyr 7B 的对齐训练流程
在自有指令数据集上微调小型开源大语言模型
将基座模型适配到新语言，再进行偏好调优
使用现成配方对比 DPO 等偏好优化方法

快速上手

1
使用 uv 创建 Python 虚拟环境
uv venv handbook --python 3.11 && source handbook/bin/activate && uv pip install --upgrade pip
2
安装 PyTorch v2.6.0
uv pip install torch==2.6.0 --index-url https://download.pytorch.org/whl/cu126
3
在仓库根目录安装项目其余依赖
uv pip install .
4
安装 Flash Attention 2
uv pip install "flash-attn==2.7.4.post1" --no-build-isolation

使用前须知

需要 CUDA GPU 环境，并且要使用特定版本的 PyTorch 和 Flash Attention 才能复现结果。
安装需要多个手动步骤，包括登录 Hugging Face 和安装 Git LFS。

常见问题

alignment-handbook 是什么？: 提供持续预训练与语言模型偏好对齐（SFT、DPO、ORPO）的训练脚本和配方。 Alignment Handbook 是一套语言模型训练配方，覆盖从持续预训练、监督微调（SFT）到偏好对齐的完整后训练流程。它面向指令微调之后、如何依据人类或 AI 偏好对齐模型这一环节，提供数据选择、训练方法和评估方面的实操参考。
alignment-handbook 可以免费使用吗？用的什么许可证？: alignment-handbook 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
alignment-handbook 还在维护吗？: 活跃维护中。alignment-handbook 最近一次提交是在 2026年9月23日。
alignment-handbook 适合用来做什么？: 按步骤复现 Zephyr 7B 的对齐训练流程在自有指令数据集上微调小型开源大语言模型将基座模型适配到新语言，再进行偏好调优使用现成配方对比 DPO 等偏好优化方法
alignment-handbook 怎么安装和运行？: 使用 uv 创建 Python 虚拟环境: uv venv handbook --python 3.11 && source handbook/bin/activate && uv pip install --upgrade pip 安装 PyTorch v2.6.0: uv pip install torch==2.6.0 --index-url https://download.pytorch.org/whl/cu126 在仓库根目录安装项目其余依赖: uv pip install . 安装 Flash Attention 2: uv pip install "flash-attn==2.7.4.post1" --no-build-isolation
在哪里获取 alignment-handbook？: 源代码和安装说明在 GitHub 上：https://github.com/huggingface/alignment-handbook

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。