Repolode
Предложить
huggingface

huggingface/alignment-handbook

Рецепты и скрипты для дополнительного предобучения и выравнивания языковых моделей по предпочтениям людей или ИИ с помощью SFT, DPO и ORPO.

Открыть на GitHubСайт
Звёзды
5,699
Форки
496
Открытые issues
100
Последний коммит
29 дней назад

Что это?

Alignment Handbook — это набор рецептов обучения, охватывающих этапы постобучения языковых моделей: от дополнительного предобучения и supervised fine-tuning до выравнивания по предпочтениям. Проект помогает закрыть пробел между instruction tuning и выравниванием моделей по предпочтениям людей или ИИ: общедоступных рекомендаций по данным, методам обучения и оценке было мало.

Проект состоит из небольшого набора скриптов и YAML-файлов с рецептами. Каждый рецепт содержит все параметры одного запуска обучения. В репозитории есть рецепты для воспроизведения результатов Zephyr 7B, а также примеры для SmolLM, SmolLM2 и SmolLM3. Поддерживается распределённое обучение всех весов с DeepSpeed ZeRO-3, а также LoRA и QLoRA для эффективной дообучения с небольшим числом параметров. Рецепт gpt2-nl показывает, как с помощью того же конвейера адаптировать модель к новому языку.

В руководстве рассматриваются DPO, ORPO, обучение моделей вознаграждения и rejection sampling; также есть инструкции по загрузке обученных моделей в Hugging Face Hub. Для установки используются uv, PyTorch 2.6.0 и Flash Attention 2.

Ключевые возможности

  • 01Скрипты для дополнительного предобучения, SFT, DPO и ORPO
  • 02YAML-файлы с рецептами, в которых указаны все параметры запуска обучения
  • 03Распределённое обучение всех весов с DeepSpeed ZeRO-3
  • 04Поддержка LoRA и QLoRA для эффективного дообучения с небольшим числом параметров
  • 05Рецепты для воспроизведения результатов на Zephyr 7B и моделях семейства SmolLM

Сценарии использования

  • Пошаговое воспроизведение конвейера выравнивания Zephyr 7B
  • Дообучение небольшой открытой LLM на собственном наборе инструкций
  • Адаптация базовой модели к новому языку с последующей настройкой по предпочтениям
  • Сравнение методов работы с предпочтениями в стиле DPO, KTO и IPO на основе готовых рецептов

Быстрый старт

  1. 1

    Создайте виртуальное окружение Python с помощью uv

    uv venv handbook --python 3.11 && source handbook/bin/activate && uv pip install --upgrade pip
  2. 2

    Установите PyTorch v2.6.0

    uv pip install torch==2.6.0 --index-url https://download.pytorch.org/whl/cu126
  3. 3

    Установите остальные зависимости проекта из корневого каталога репозитория

    uv pip install .
  4. 4

    Установите Flash Attention 2

    uv pip install "flash-attn==2.7.4.post1" --no-build-isolation

Что важно знать

  • Для воспроизведения результатов требуется среда с GPU CUDA, а также определённые версии PyTorch и Flash Attention.
  • Настройка включает несколько ручных шагов, в том числе вход в Hugging Face и установку Git LFS.

Темы

#llm#rlhf#dpo#fine-tuning#transformers#preference-alignment#training-recipes

Частые вопросы

Что такое alignment-handbook?
Рецепты и скрипты для дополнительного предобучения и выравнивания языковых моделей по предпочтениям людей или ИИ с помощью SFT, DPO и ORPO. Alignment Handbook — это набор рецептов обучения, охватывающих этапы постобучения языковых моделей: от дополнительного предобучения и supervised fine-tuning до выравнивания по предпочтениям. Проект помогает закрыть пробел между instruction tuning и выравниванием моделей по предпочтениям людей или ИИ: общедоступных рекомендаций по данным, методам обучения и оценке было мало.
alignment-handbook можно использовать бесплатно? Какая у него лицензия?
alignment-handbook распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
alignment-handbook всё ещё поддерживается?
Активно поддерживается. Последний коммит в alignment-handbook — 23 сент. 2026 г..
Для чего можно использовать alignment-handbook?
Пошаговое воспроизведение конвейера выравнивания Zephyr 7B Дообучение небольшой открытой LLM на собственном наборе инструкций Адаптация базовой модели к новому языку с последующей настройкой по предпочтениям Сравнение методов работы с предпочтениями в стиле DPO, KTO и IPO на основе готовых рецептов
Как установить alignment-handbook?
Создайте виртуальное окружение Python с помощью uv: uv venv handbook --python 3.11 && source handbook/bin/activate && uv pip install --upgrade pip Установите PyTorch v2.6.0: uv pip install torch==2.6.0 --index-url https://download.pytorch.org/whl/cu126 Установите остальные зависимости проекта из корневого каталога репозитория: uv pip install . Установите Flash Attention 2: uv pip install "flash-attn==2.7.4.post1" --no-build-isolation
Где скачать alignment-handbook?
Исходный код и инструкции по установке — на GitHub: https://github.com/huggingface/alignment-handbook

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты