Repolode
投稿する
PaddlePaddle

PaddlePaddle/PaddleFormers

PaddlePaddleベースのTransformers風ライブラリ。Hugging Face互換APIで、大規模言語モデルや視覚言語モデルの学習に対応します。

GitHub で見る
スター
12,970
フォーク
2,184
未解決の Issue
244
最終コミット
16 日前

これは何？

PaddleFormersは、PaddlePaddle深層学習フレームワーク上に構築されたモデルライブラリです。PyTorchユーザー向けのHugging Face Transformersと同様のモデルインターフェースや機能の提供を目指しています。大規模言語モデル（LLM）と視覚言語モデル（VLM）の学習に対応し、DeepSeek-V3/V4、GLM-4.5、Qwen2、Qwen3、Qwen3-VL、ERNIE-4.5の各ファミリーを含むモデルズーを備えています。

テンソル並列、パイプライン並列、エキスパート並列などの分散学習戦略に加え、自動混合精度とFP8学習をサポートしています。学習後のワークフローとして、継続事前学習、SFT、LoRA、DPO、DPO-LoRAを利用できます。チェックポイントはSafetensors形式で保存されるため、vLLM、SGLang、FastDeployなどのツールで読み込めます。また、YAML設定ファイルから学習を起動するコマンドラインツールpaddleformers-cliも提供しています。

Kunlunxin P800、Iluvatar BI-V150、Metax C550などの国内アクセラレータや、Moore Threads GPUへの対応方法もドキュメントで案内しています。

主な機能

  • 01PaddlePaddle上でHugging Face風のAutoModelおよびAutoTokenizer APIを提供
  • 02大規模モデルの学習向けにテンソル並列、パイプライン並列、エキスパート並列をサポート
  • 03事前学習、SFT、LoRA、DPO、DPO-LoRAのワークフローに対応
  • 04vLLM、SGLang、FastDeployと互換性のあるSafetensors形式のチェックポイント
  • 05Function Call形式およびThinking形式の学習データに対応

ユースケース

  • SFTやLoRAを使い、Qwen3やGLM-4.5などのオープンLLMを独自データでファインチューニングする
  • PaddlePaddleのインフラ上でDPOによる選好アラインメントを実行する
  • Qwen3-VLやPaddleOCR-VLなどの視覚言語モデルを学習または適応させる
  • LLMの学習後処理に国内アクセラレータを導入する

クイックスタート

  1. 1

    tokenizer と processor のパッケージをインストールします（学習用の依存関係は含まれません）

    python -m pip install paddleformers
  2. 2

    tokenizer を読み込み、Hugging Face 形式の API でテキスト生成を実行します

  3. 3

    リポジトリを clone して、サンプルの学習設定を取得します

    git clone https://github.com/PaddlePaddle/PaddleFormers.git
  4. 4

    サンプル設定を使って SFT 学習を実行します

    paddleformers-cli train ./examples/config/sft/full.yaml

使う前に知っておきたいこと

  • GPU での学習には CUDA 13.0 以降と PaddleFleet 0.3 以降が必要です。
  • Kunlunxin XPU、Iluvatar、Metax、MUSA などのハードウェアには、ベンダー別のインストールガイドが別途必要です。

トピック

#llm#paddlepaddle#transformers#distributed-training#fine-tuning#vision-language-model#lora#model

よくある質問

PaddleFormers とは？
PaddlePaddleベースのTransformers風ライブラリ。Hugging Face互換APIで、大規模言語モデルや視覚言語モデルの学習に対応します。 PaddleFormersは、PaddlePaddle深層学習フレームワーク上に構築されたモデルライブラリです。PyTorchユーザー向けのHugging Face Transformersと同様のモデルインターフェースや機能の提供を目指しています。大規模言語モデル（LLM）と視覚言語モデル（VLM）の学習に対応し、DeepSeek-V3/V4、GLM-4.5、Qwen2、Qwen3、Qwen3-VL、ERNIE-4.5の各ファミリーを含むモデルズーを備えています。
PaddleFormers は無料で使えますか？ライセンスは？
PaddleFormers は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
PaddleFormers は今もメンテナンスされていますか？
活発にメンテナンス中。PaddleFormers の最終コミットは 2026年10月21日 です。
PaddleFormers は何に使えますか？
SFTやLoRAを使い、Qwen3やGLM-4.5などのオープンLLMを独自データでファインチューニングする PaddlePaddleのインフラ上でDPOによる選好アラインメントを実行する Qwen3-VLやPaddleOCR-VLなどの視覚言語モデルを学習または適応させる LLMの学習後処理に国内アクセラレータを導入する
PaddleFormers のインストール方法は？
tokenizer と processor のパッケージをインストールします（学習用の依存関係は含まれません）: python -m pip install paddleformers tokenizer を読み込み、Hugging Face 形式の API でテキスト生成を実行します リポジトリを clone して、サンプルの学習設定を取得します: git clone https://github.com/PaddlePaddle/PaddleFormers.git サンプル設定を使って SFT 学習を実行します: paddleformers-cli train ./examples/config/sft/full.yaml
PaddleFormers はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/PaddlePaddle/PaddleFormers

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト