Repolode
Enviar
huggingface

huggingface/alignment-handbook

Receitas e scripts de treinamento para pré-treinamento contínuo e alinhamento de modelos de linguagem com preferências humanas ou de IA usando SFT, DPO e ORPO.

Ver no GitHubSite
Estrelas
5,699
Forks
496
Issues abertas
100
Último commit
há 29 dias

O que é?

O Alignment Handbook reúne receitas de treinamento que abrangem o pipeline de pós-treinamento de modelos de linguagem, do pré-treinamento contínuo ao fine-tuning supervisionado e ao alinhamento por preferências. O projeto busca preencher a lacuna entre o instruction tuning e o alinhamento de modelos com preferências humanas ou de IA, uma área em que havia pouca orientação pública sobre dados, métodos de treinamento e avaliação.

O projeto é organizado em um pequeno conjunto de scripts e arquivos de receita YAML. Cada receita reúne todos os parâmetros de uma execução de treinamento, e o repositório inclui receitas que reproduzem o Zephyr 7B e exemplos para SmolLM, SmolLM2 e SmolLM3. O treinamento oferece suporte tanto ao treinamento distribuído com pesos completos usando DeepSpeed ZeRO-3 quanto a LoRA e QLoRA para fine-tuning eficiente em parâmetros. Uma receita gpt2-nl mostra como adaptar o mesmo pipeline a um novo idioma.

O handbook aborda DPO, ORPO, modelagem de recompensas e rejection sampling, além de incluir instruções para enviar modelos treinados ao Hugging Face Hub. A instalação usa uv com PyTorch 2.6.0 e Flash Attention 2.

Recursos principais

  • 01Scripts de treinamento para pré-treinamento contínuo, SFT, DPO e ORPO
  • 02Arquivos de receita YAML que registram todos os parâmetros de uma execução de treinamento
  • 03Treinamento distribuído com pesos completos usando DeepSpeed ZeRO-3
  • 04Suporte a LoRA e QLoRA para fine-tuning eficiente em parâmetros
  • 05Receitas para reproduzir o Zephyr 7B e as famílias de modelos SmolLM

Casos de uso

  • Reproduzir passo a passo o pipeline de alinhamento do Zephyr 7B
  • Fazer fine-tuning de um LLM aberto pequeno usando seu próprio conjunto de dados de instruções
  • Adaptar um modelo base a um novo idioma e, em seguida, aplicar ajuste por preferências
  • Comparar métodos de preferência no estilo DPO, KTO e IPO usando as receitas existentes

Início rápido

  1. 1

    Crie um ambiente virtual Python com uv

    uv venv handbook --python 3.11 && source handbook/bin/activate && uv pip install --upgrade pip
  2. 2

    Instale o PyTorch v2.6.0

    uv pip install torch==2.6.0 --index-url https://download.pytorch.org/whl/cu126
  3. 3

    Instale as dependências restantes do projeto a partir da raiz do repositório

    uv pip install .
  4. 4

    Instale o Flash Attention 2

    uv pip install "flash-attn==2.7.4.post1" --no-build-isolation

Antes de usar

  • Para reproduzir os resultados, é necessário configurar uma GPU CUDA e usar versões específicas do PyTorch e do Flash Attention.
  • A configuração envolve várias etapas manuais, incluindo fazer login no Hugging Face e instalar o Git LFS.

Tópicos

#llm#rlhf#dpo#fine-tuning#transformers#preference-alignment#training-recipes

Perguntas frequentes

O que é alignment-handbook?
Receitas e scripts de treinamento para pré-treinamento contínuo e alinhamento de modelos de linguagem com preferências humanas ou de IA usando SFT, DPO e ORPO. O Alignment Handbook reúne receitas de treinamento que abrangem o pipeline de pós-treinamento de modelos de linguagem, do pré-treinamento contínuo ao fine-tuning supervisionado e ao alinhamento por preferências. O projeto busca preencher a lacuna entre o instruction tuning e o alinhamento de modelos com preferências humanas ou de IA, uma área em que havia pouca orientação pública sobre dados, métodos de treinamento e avaliação.
alignment-handbook é gratuito? Qual é a licença?
alignment-handbook é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
alignment-handbook ainda é mantido?
Manutenção ativa. O último commit de alignment-handbook foi em 23 de set. de 2026.
Para que posso usar alignment-handbook?
Reproduzir passo a passo o pipeline de alinhamento do Zephyr 7B Fazer fine-tuning de um LLM aberto pequeno usando seu próprio conjunto de dados de instruções Adaptar um modelo base a um novo idioma e, em seguida, aplicar ajuste por preferências Comparar métodos de preferência no estilo DPO, KTO e IPO usando as receitas existentes
Como instalar alignment-handbook?
Crie um ambiente virtual Python com uv: uv venv handbook --python 3.11 && source handbook/bin/activate && uv pip install --upgrade pip Instale o PyTorch v2.6.0: uv pip install torch==2.6.0 --index-url https://download.pytorch.org/whl/cu126 Instale as dependências restantes do projeto a partir da raiz do repositório: uv pip install . Instale o Flash Attention 2: uv pip install "flash-attn==2.7.4.post1" --no-build-isolation
Onde consigo alignment-handbook?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/huggingface/alignment-handbook

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados