huggingface/peft

これは何？

主な機能

• 01LoRAのほか、アダプター、ソフトプロンプト、IA3などのパラメータ効率に優れた手法を実装しています。
• 02get_peft_modelと設定オブジェクトを使って、互換性のある任意のモデルをラップできます。
• 03アダプターを小さなチェックポイントとして保存し、ベースモデルに読み込めます。
• 04Transformers、Diffusers、Accelerateと連携します。
• 05学習時のメモリ使用量を抑えるため、量子化されたベースモデルに対応しています。

ユースケース

• 一般向けGPU 1台で、数十億パラメータ規模のLLMをファインチューニングする。
• 1つの共有ベースモデルに対して、タスク別のアダプターを複数管理する。
• LoRAを使ってStable Diffusionをカスタマイズし、スタイルや被写体を学習させる。
• Accelerateを使い、分散環境で大規模モデルを学習する。

クイックスタート

1. 1

   pipからPEFTをインストールする

   pip install peft
2. 2

   get_peft_modelを使ってベースモデルをLoRA設定でラップし、学習させて保存する

使う前に知っておきたいこと

• !READMEの例を実行するには、PyTorchに対応したGPUまたはアクセラレーターと、大容量の事前学習済みモデルのダウンロードが必要です。

トピック

よくある質問

peft とは？

Hugging FaceのParameter-Efficient Fine-Tuning（PEFT）ライブラリ。少数の追加パラメータだけを学習し、大規模な事前学習済みモデルを適応させます。 大規模な事前学習済みモデルのファインチューニングには、多くの計算リソースとストレージが必要です。PEFTはLoRAなどの手法を提供し、ベースモデルを凍結したまま、追加した少数のパラメータだけを学習します。生成されるアダプターは通常、数MB程度に収まり、多くの場合、フルファインチューニングと同等の性能が得られるとされています。

peft は無料で使えますか？ライセンスは？

peft は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

peft は今もメンテナンスされていますか？

活発にメンテナンス中。peft の最終コミットは 2026年10月21日 です。

peft は何に使えますか？

一般向けGPU 1台で、数十億パラメータ規模のLLMをファインチューニングする。 1つの共有ベースモデルに対して、タスク別のアダプターを複数管理する。 LoRAを使ってStable Diffusionをカスタマイズし、スタイルや被写体を学習させる。 Accelerateを使い、分散環境で大規模モデルを学習する。

peft のインストール方法は？

pipからPEFTをインストールする: pip install peft get_peft_modelを使ってベースモデルをLoRA設定でラップし、学習させて保存する

peft はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/huggingface/peft