PaddlePaddle/PaddleFormers

Что это?

Ключевые возможности

• 01API AutoModel и AutoTokenizer в стиле Hugging Face для PaddlePaddle
• 02Параллелизм по тензорам, конвейеру и экспертам для обучения больших моделей
• 03Сценарии предобучения, SFT, LoRA, DPO и DPO-LoRA
• 04Чекпоинты Safetensors, совместимые с vLLM, SGLang и FastDeploy
• 05Поддержка обучающих данных в формате Function Call и Thinking

Сценарии использования

• Дообучение открытых LLM, например Qwen3 или GLM-4.5, на собственных данных с помощью SFT или LoRA
• Выравнивание предпочтений с помощью DPO на инфраструктуре PaddlePaddle
• Обучение или адаптация визуально-языковых моделей, например Qwen3-VL или PaddleOCR-VL
• Использование отечественных ускорителей для постобучения LLM

Быстрый старт

1. 1

   Установите пакет tokenizer и processor (без зависимостей для обучения)

   python -m pip install paddleformers
2. 2

   Загрузите tokenizer и запустите генерацию текста с API в стиле Hugging Face

3. 3

   Клонируйте репозиторий, чтобы получить примеры конфигураций для обучения

   git clone https://github.com/PaddlePaddle/PaddleFormers.git
4. 4

   Запустите обучение SFT с примером конфигурации

   paddleformers-cli train ./examples/config/sft/full.yaml

Что важно знать

• !Для обучения на GPU требуются CUDA 13.0 или новее и PaddleFleet 0.3 или новее.
• !Для другого оборудования, например Kunlunxin XPU, Iluvatar, Metax и MUSA, нужны отдельные руководства по установке от соответствующих производителей.

Темы

Частые вопросы

Что такое PaddleFormers?

Библиотека в стиле Transformers на базе PaddlePaddle для обучения больших языковых и визуально-языковых моделей с API, совместимым с Hugging Face. PaddleFormers — библиотека моделей на базе фреймворка глубокого обучения PaddlePaddle. Она призвана предоставить пользователям интерфейсы и возможности для работы с моделями, аналогичные тем, что Hugging Face Transformers предлагает пользователям PyTorch. Библиотека поддерживает обучение больших языковых моделей (LLM) и визуально-языковых моделей (VLM). В её зоопарк моделей входят семейства DeepSeek-V3/V4, GLM-4.5, Qwen2, Qwen3, Qwen3-VL и ERNIE-4.5.

PaddleFormers можно использовать бесплатно? Какая у него лицензия?

PaddleFormers распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

PaddleFormers всё ещё поддерживается?

Активно поддерживается. Последний коммит в PaddleFormers — 21 окт. 2026 г..

Для чего можно использовать PaddleFormers?

Дообучение открытых LLM, например Qwen3 или GLM-4.5, на собственных данных с помощью SFT или LoRA Выравнивание предпочтений с помощью DPO на инфраструктуре PaddlePaddle Обучение или адаптация визуально-языковых моделей, например Qwen3-VL или PaddleOCR-VL Использование отечественных ускорителей для постобучения LLM

Как установить PaddleFormers?

Установите пакет tokenizer и processor (без зависимостей для обучения): python -m pip install paddleformers Загрузите tokenizer и запустите генерацию текста с API в стиле Hugging Face Клонируйте репозиторий, чтобы получить примеры конфигураций для обучения: git clone https://github.com/PaddlePaddle/PaddleFormers.git Запустите обучение SFT с примером конфигурации: paddleformers-cli train ./examples/config/sft/full.yaml

Где скачать PaddleFormers?

Исходный код и инструкции по установке — на GitHub: https://github.com/PaddlePaddle/PaddleFormers