Repolode
Enviar
huggingface

huggingface/peft

Biblioteca da Hugging Face para Parameter-Efficient Fine-Tuning (PEFT), adaptando modelos pré-treinados grandes ao treinar apenas um pequeno conjunto de parâmetros adicionais.

Ver no GitHubSite
Estrelas
21,824
Forks
2,610
Issues abertas
97
Último commit
há 17 horas

O que é?

Fazer fine-tuning de modelos pré-treinados grandes exige muito poder computacional e espaço de armazenamento. A PEFT oferece métodos como LoRA, que treinam apenas um pequeno número de parâmetros adicionados e mantêm o modelo base congelado. Os adapters resultantes geralmente ocupam apenas alguns megabytes, e a biblioteca relata desempenho comparável ao do fine-tuning completo em muitos casos.

O uso consiste principalmente em envolver um modelo base com um objeto de configuração usando get_peft_model e, em seguida, salvar ou carregar o adapter com save_pretrained e PeftModel.from_pretrained. A biblioteca se integra ao Hugging Face Transformers para treinamento e inferência, ao Diffusers para gerenciar vários adapters e ao Accelerate para treinamento distribuído.

O projeto é escrito em Python e usa PyTorch; a documentação aborda os métodos compatíveis e inclui guias conceituais sobre adapters, soft prompts e IA3.

Recursos principais

  • 01Implementa LoRA e outros métodos eficientes em parâmetros, como adapters, soft prompts e IA3.
  • 02Envolve qualquer modelo compatível usando get_peft_model e um objeto de configuração.
  • 03Salva adapters como checkpoints pequenos que podem ser carregados no modelo base.
  • 04Integra-se ao Transformers, Diffusers e Accelerate.
  • 05Oferece suporte a modelos base quantizados para reduzir o uso de memória durante o treinamento.

Casos de uso

  • Fazer fine-tuning de um LLM com vários bilhões de parâmetros em uma única GPU de consumo.
  • Manter vários adapters específicos para diferentes tarefas em um único modelo base compartilhado.
  • Personalizar o Stable Diffusion com LoRA para treinar estilos ou temas.
  • Treinar modelos grandes em ambientes distribuídos com Accelerate.

Início rápido

  1. 1

    Instale o PEFT usando pip

    pip install peft
  2. 2

    Envolva um modelo base com uma configuração LoRA usando get_peft_model e, em seguida, treine-o e salve-o

Antes de usar

  • A execução dos exemplos do README requer uma GPU ou acelerador compatível com PyTorch e o download de modelos pré-treinados grandes.

Tópicos

#fine-tuning#lora#llm#pytorch#transformers#adapter#diffusion#parameter-efficient-learning#peft#python

Perguntas frequentes

O que é peft?
Biblioteca da Hugging Face para Parameter-Efficient Fine-Tuning (PEFT), adaptando modelos pré-treinados grandes ao treinar apenas um pequeno conjunto de parâmetros adicionais. Fazer fine-tuning de modelos pré-treinados grandes exige muito poder computacional e espaço de armazenamento. A PEFT oferece métodos como LoRA, que treinam apenas um pequeno número de parâmetros adicionados e mantêm o modelo base congelado. Os adapters resultantes geralmente ocupam apenas alguns megabytes, e a biblioteca relata desempenho comparável ao do fine-tuning completo em muitos casos.
peft é gratuito? Qual é a licença?
peft é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
peft ainda é mantido?
Manutenção ativa. O último commit de peft foi em 21 de out. de 2026.
Para que posso usar peft?
Fazer fine-tuning de um LLM com vários bilhões de parâmetros em uma única GPU de consumo. Manter vários adapters específicos para diferentes tarefas em um único modelo base compartilhado. Personalizar o Stable Diffusion com LoRA para treinar estilos ou temas. Treinar modelos grandes em ambientes distribuídos com Accelerate.
Como instalar peft?
Instale o PEFT usando pip: pip install peft Envolva um modelo base com uma configuração LoRA usando get_peft_model e, em seguida, treine-o e salve-o
Onde consigo peft?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/huggingface/peft

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados