PaddlePaddle/PaddleFormers

这是什么？

核心功能

• 01提供与 Hugging Face 相似的 AutoModel、AutoTokenizer 接口，基于 PaddlePaddle
• 02支持张量并行、流水线并行和专家并行，用于大模型训练
• 03覆盖继续预训练、SFT、LoRA、DPO 等后训练流程
• 04训练权重以 Safetensors 格式保存，可在 vLLM、SGLang 等工具中使用
• 05支持 Function Call 与 Thinking 类数据的训练

适用场景

• 使用 SFT 或 LoRA 在自定义数据上微调 Qwen3、GLM-4.5 等开源大模型
• 在 PaddlePaddle 环境中用 DPO 进行偏好对齐训练
• 训练或适配 Qwen3-VL、PaddleOCR-VL 等视觉语言模型
• 在昆仑芯等国产算力上进行大模型后训练

快速上手

1. 1

   安装 tokenizer 和 processor 包（不含训练依赖）

   python -m pip install paddleformers
2. 2

   使用类似 Hugging Face 的 API 加载 tokenizer 并进行文本生成

3. 3

   克隆仓库以获取示例训练配置

   git clone https://github.com/PaddlePaddle/PaddleFormers.git
4. 4

   使用示例配置运行 SFT 训练

   paddleformers-cli train ./examples/config/sft/full.yaml

使用前须知

• !GPU 训练需要 CUDA 13.0 或更高版本以及 PaddleFleet 0.3 或更高版本。
• !昆仑芯 XPU、天数智芯、沐曦和摩尔线程等其他硬件需要按各自的厂商安装说明单独配置。

标签

常见问题

PaddleFormers 是什么？

基于 PaddlePaddle 的 Transformers 风格库，用于训练大语言模型和视觉语言模型，API 与 Hugging Face 基本一致。 PaddleFormers 是基于百度 PaddlePaddle 框架搭建的 Transformers 库，为 PaddlePaddle 用户提供与 Hugging Face Transformers 相近的模型接口和使用方式。它支持大语言模型（LLM）与视觉语言模型（VLM）的训练，模型覆盖 DeepSeek-V3/V4、GLM-4.5、Qwen2、Qwen3、Qwen3-VL、ERNIE-4.5 等系列。

PaddleFormers 可以免费使用吗？用的什么许可证？

PaddleFormers 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

PaddleFormers 还在维护吗？

活跃维护中。PaddleFormers 最近一次提交是在 2026年10月21日。

PaddleFormers 适合用来做什么？

使用 SFT 或 LoRA 在自定义数据上微调 Qwen3、GLM-4.5 等开源大模型 在 PaddlePaddle 环境中用 DPO 进行偏好对齐训练 训练或适配 Qwen3-VL、PaddleOCR-VL 等视觉语言模型 在昆仑芯等国产算力上进行大模型后训练

PaddleFormers 怎么安装和运行？

安装 tokenizer 和 processor 包（不含训练依赖）: python -m pip install paddleformers 使用类似 Hugging Face 的 API 加载 tokenizer 并进行文本生成 克隆仓库以获取示例训练配置: git clone https://github.com/PaddlePaddle/PaddleFormers.git 使用示例配置运行 SFT 训练: paddleformers-cli train ./examples/config/sft/full.yaml

在哪里获取 PaddleFormers？

源代码和安装说明在 GitHub 上：https://github.com/PaddlePaddle/PaddleFormers