Repolode
Предложить
huggingface

huggingface/peft

Библиотека Hugging Face для Parameter-Efficient Fine-Tuning (PEFT): адаптация крупных предварительно обученных моделей с помощью обучения небольшого набора дополнительных параметров.

Открыть на GitHubСайт
Звёзды
21,824
Форки
2,610
Открытые issues
97
Последний коммит
16 часов назад

Что это?

Полное дообучение крупных предварительно обученных моделей требует больших вычислительных ресурсов и места для хранения. PEFT предоставляет такие методы, как LoRA: они обучают небольшое количество добавленных параметров, оставляя базовую модель замороженной. Получившиеся адаптеры обычно занимают всего несколько мегабайт, а, по данным библиотеки, во многих случаях показывают результаты, сопоставимые с полным дообучением.

Работа с библиотекой сводится к тому, чтобы обернуть базовую модель в конфигурационный объект с помощью get_peft_model, а затем сохранить или загрузить адаптер через save_pretrained и PeftModel.from_pretrained. Библиотека интегрируется с Hugging Face Transformers для обучения и инференса, с Diffusers для управления несколькими адаптерами и с Accelerate для распределённого обучения.

Проект написан на Python и построен на PyTorch. В документации описаны поддерживаемые методы и приведены концептуальные руководства по адаптерам, soft prompts и IA3.

Ключевые возможности

  • 01Реализует LoRA и другие параметрически эффективные методы, например адаптеры, soft prompts и IA3.
  • 02Оборачивает любую совместимую модель с помощью get_peft_model и конфигурационного объекта.
  • 03Сохраняет адаптеры в виде компактных чекпойнтов, которые можно загрузить в базовую модель.
  • 04Интегрируется с Transformers, Diffusers и Accelerate.
  • 05Поддерживает квантованные базовые модели, чтобы снизить потребление памяти во время обучения.

Сценарии использования

  • Дообучение LLM с несколькими миллиардами параметров на одной потребительской GPU.
  • Поддержка множества адаптеров для отдельных задач при использовании одной общей базовой модели.
  • Настройка Stable Diffusion с помощью LoRA для обучения стилю или объекту.
  • Обучение крупных моделей в распределённых конфигурациях с Accelerate.

Быстрый старт

  1. 1

    Установите PEFT с помощью pip

    pip install peft
  2. 2

    Оберните базовую модель конфигурацией LoRA с помощью get_peft_model, затем обучите и сохраните её

Что важно знать

  • Для запуска примеров из README требуется GPU или ускоритель, совместимый с PyTorch, а также загрузка больших предварительно обученных моделей.

Темы

#fine-tuning#lora#llm#pytorch#transformers#adapter#diffusion#parameter-efficient-learning#peft#python

Частые вопросы

Что такое peft?
Библиотека Hugging Face для Parameter-Efficient Fine-Tuning (PEFT): адаптация крупных предварительно обученных моделей с помощью обучения небольшого набора дополнительных параметров. Полное дообучение крупных предварительно обученных моделей требует больших вычислительных ресурсов и места для хранения. PEFT предоставляет такие методы, как LoRA: они обучают небольшое количество добавленных параметров, оставляя базовую модель замороженной. Получившиеся адаптеры обычно занимают всего несколько мегабайт, а, по данным библиотеки, во многих случаях показывают результаты, сопоставимые с полным дообучением.
peft можно использовать бесплатно? Какая у него лицензия?
peft распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
peft всё ещё поддерживается?
Активно поддерживается. Последний коммит в peft — 21 окт. 2026 г..
Для чего можно использовать peft?
Дообучение LLM с несколькими миллиардами параметров на одной потребительской GPU. Поддержка множества адаптеров для отдельных задач при использовании одной общей базовой модели. Настройка Stable Diffusion с помощью LoRA для обучения стилю или объекту. Обучение крупных моделей в распределённых конфигурациях с Accelerate.
Как установить peft?
Установите PEFT с помощью pip: pip install peft Оберните базовую модель конфигурацией LoRA с помощью get_peft_model, затем обучите и сохраните её
Где скачать peft?
Исходный код и инструкции по установке — на GitHub: https://github.com/huggingface/peft

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты