Repolode
Enviar
huggingface

huggingface/peft

Biblioteca de Hugging Face para Parameter-Efficient Fine-Tuning (PEFT), que adapta modelos preentrenados grandes entrenando solo un pequeño conjunto de parámetros adicionales.

Ver en GitHubSitio web
Estrellas
21,824
Forks
2,610
Issues abiertos
97
Último commit
hace 17 horas

¿Qué es?

Ajustar modelos preentrenados grandes requiere mucho cómputo y almacenamiento. PEFT ofrece métodos como LoRA, que entrenan solo un pequeño número de parámetros añadidos y mantienen congelado el modelo base. Los adaptadores resultantes suelen ocupar solo unos pocos megabytes, y la biblioteca indica que, en muchos casos, su rendimiento es comparable al del ajuste completo.

El uso consiste principalmente en envolver un modelo base con un objeto de configuración mediante get_peft_model y, después, guardar o cargar el adaptador con save_pretrained y PeftModel.from_pretrained. La biblioteca se integra con Hugging Face Transformers para entrenamiento e inferencia, con Diffusers para gestionar varios adaptadores y con Accelerate para entrenamiento distribuido.

El proyecto está desarrollado en Python sobre PyTorch, y su documentación abarca los métodos compatibles y guías conceptuales sobre adaptadores, soft prompts e IA3.

Funciones clave

  • 01Implementa LoRA y otros métodos eficientes en parámetros, como adaptadores, soft prompts e IA3.
  • 02Envuelve cualquier modelo compatible con get_peft_model y un objeto de configuración.
  • 03Guarda adaptadores como checkpoints pequeños que se pueden cargar sobre el modelo base.
  • 04Se integra con Transformers, Diffusers y Accelerate.
  • 05Admite modelos base cuantizados para reducir el uso de memoria durante el entrenamiento.

Casos de uso

  • Ajustar un LLM de varios miles de millones de parámetros en una única GPU de consumo.
  • Mantener muchos adaptadores específicos para distintas tareas sobre un mismo modelo base compartido.
  • Personalizar Stable Diffusion con LoRA para entrenar estilos o sujetos.
  • Entrenar modelos grandes en entornos distribuidos con Accelerate.

Inicio rápido

  1. 1

    Instala PEFT con pip

    pip install peft
  2. 2

    Envuelve un modelo base con una configuración de LoRA mediante get_peft_model, y luego entrénalo y guárdalo

Antes de usarlo

  • Para ejecutar los ejemplos del README, se necesita una GPU o un acelerador compatible con PyTorch y descargar modelos preentrenados de gran tamaño.

Temas

#fine-tuning#lora#llm#pytorch#transformers#adapter#diffusion#parameter-efficient-learning#peft#python

Preguntas frecuentes

¿Qué es peft?
Biblioteca de Hugging Face para Parameter-Efficient Fine-Tuning (PEFT), que adapta modelos preentrenados grandes entrenando solo un pequeño conjunto de parámetros adicionales. Ajustar modelos preentrenados grandes requiere mucho cómputo y almacenamiento. PEFT ofrece métodos como LoRA, que entrenan solo un pequeño número de parámetros añadidos y mantienen congelado el modelo base. Los adaptadores resultantes suelen ocupar solo unos pocos megabytes, y la biblioteca indica que, en muchos casos, su rendimiento es comparable al del ajuste completo.
¿peft es gratuito? ¿Qué licencia tiene?
peft es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿peft sigue mantenido?
Mantenimiento activo. El último commit de peft fue el 21 oct 2026.
¿Para qué puedo usar peft?
Ajustar un LLM de varios miles de millones de parámetros en una única GPU de consumo. Mantener muchos adaptadores específicos para distintas tareas sobre un mismo modelo base compartido. Personalizar Stable Diffusion con LoRA para entrenar estilos o sujetos. Entrenar modelos grandes en entornos distribuidos con Accelerate.
¿Cómo se instala peft?
Instala PEFT con pip: pip install peft Envuelve un modelo base con una configuración de LoRA mediante get_peft_model, y luego entrénalo y guárdalo
¿Dónde consigo peft?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/huggingface/peft

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados