Una biblioteca de Hugging Face para el postentrenamiento de modelos de lenguaje transformer con SFT, GRPO, DPO, KTO y modelado de recompensas.
19,6 mil3,1 milPythonApache-2.0Actualizado hace 23 horas
huggingface/alignment-handbook
Recetas y scripts de entrenamiento para el preentrenamiento continuo y la alineación de modelos de lenguaje con preferencias humanas o de IA mediante SFT, DPO y ORPO.
- Estrellas
- 5,699
- Forks
- 496
- Issues abiertos
- 100
- Último commit
- hace 29 días
¿Qué es?
Alignment Handbook es un conjunto de recetas de entrenamiento que abarca el proceso de postentrenamiento de modelos de lenguaje, desde el preentrenamiento continuo hasta el ajuste fino supervisado y la alineación con preferencias. Está dirigido a cubrir la falta de orientación pública sobre datos, métodos de entrenamiento y evaluación para pasar del ajuste con instrucciones a la alineación de modelos con preferencias humanas o de IA.
El proyecto se organiza en un pequeño conjunto de scripts y archivos de recetas YAML. Cada receta contiene todos los parámetros de una ejecución de entrenamiento, y el repositorio incluye recetas para reproducir Zephyr 7B y ejemplos para SmolLM, SmolLM2 y SmolLM3. El entrenamiento admite entrenamiento distribuido con todos los pesos mediante DeepSpeed ZeRO-3, así como LoRA y QLoRA para el ajuste fino eficiente en parámetros. Una receta para gpt2-nl muestra cómo adaptar el mismo proceso a un nuevo idioma.
El handbook cubre DPO, ORPO, el modelado de recompensas y el muestreo por rechazo, e incluye instrucciones para subir modelos entrenados a Hugging Face Hub. La instalación utiliza uv con PyTorch 2.6.0 y Flash Attention 2.
Funciones clave
- 01Scripts de entrenamiento para preentrenamiento continuo, SFT, DPO y ORPO
- 02Archivos de recetas YAML que registran todos los parámetros de una ejecución de entrenamiento
- 03Entrenamiento distribuido con todos los pesos mediante DeepSpeed ZeRO-3
- 04Compatibilidad con LoRA y QLoRA para el ajuste fino eficiente en parámetros
- 05Recetas para reproducir Zephyr 7B y las familias de modelos SmolLM
Casos de uso
- Reproducir paso a paso el proceso de alineación de Zephyr 7B
- Ajustar un LLM pequeño de código abierto con tu propio conjunto de datos de instrucciones
- Adaptar un modelo base a un nuevo idioma y después aplicar ajuste con preferencias
- Comparar métodos de preferencias del tipo DPO, KTO e IPO con las recetas existentes
Inicio rápido
- 1
Crea un entorno virtual de Python con uv
uv venv handbook --python 3.11 && source handbook/bin/activate && uv pip install --upgrade pip - 2
Instala PyTorch v2.6.0
uv pip install torch==2.6.0 --index-url https://download.pytorch.org/whl/cu126 - 3
Instala el resto de dependencias del proyecto desde la raíz del repositorio
uv pip install . - 4
Instala Flash Attention 2
uv pip install "flash-attn==2.7.4.post1" --no-build-isolation
Antes de usarlo
- Para reproducir los resultados, se necesita una configuración con GPU CUDA y versiones específicas de PyTorch y Flash Attention.
- La configuración requiere varios pasos manuales, como iniciar sesión en Hugging Face e instalar Git LFS.
Temas
Preguntas frecuentes
- ¿Qué es alignment-handbook?
- Recetas y scripts de entrenamiento para el preentrenamiento continuo y la alineación de modelos de lenguaje con preferencias humanas o de IA mediante SFT, DPO y ORPO. Alignment Handbook es un conjunto de recetas de entrenamiento que abarca el proceso de postentrenamiento de modelos de lenguaje, desde el preentrenamiento continuo hasta el ajuste fino supervisado y la alineación con preferencias. Está dirigido a cubrir la falta de orientación pública sobre datos, métodos de entrenamiento y evaluación para pasar del ajuste con instrucciones a la alineación de modelos con preferencias humanas o de IA.
- ¿alignment-handbook es gratuito? ¿Qué licencia tiene?
- alignment-handbook es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿alignment-handbook sigue mantenido?
- Mantenimiento activo. El último commit de alignment-handbook fue el 23 sept 2026.
- ¿Para qué puedo usar alignment-handbook?
- Reproducir paso a paso el proceso de alineación de Zephyr 7B Ajustar un LLM pequeño de código abierto con tu propio conjunto de datos de instrucciones Adaptar un modelo base a un nuevo idioma y después aplicar ajuste con preferencias Comparar métodos de preferencias del tipo DPO, KTO e IPO con las recetas existentes
- ¿Cómo se instala alignment-handbook?
- Crea un entorno virtual de Python con uv: uv venv handbook --python 3.11 && source handbook/bin/activate && uv pip install --upgrade pip Instala PyTorch v2.6.0: uv pip install torch==2.6.0 --index-url https://download.pytorch.org/whl/cu126 Instala el resto de dependencias del proyecto desde la raíz del repositorio: uv pip install . Instala Flash Attention 2: uv pip install "flash-attn==2.7.4.post1" --no-build-isolation
- ¿Dónde consigo alignment-handbook?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/huggingface/alignment-handbook
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Guía y código en PyTorch para entrenar desde cero un LLM transformer, desde el preentrenamiento hasta SFT, modelado de recompensas, DPO/PPO/GRPO y generación.
12,3 mil1,8 milPythonMITActualizado hace 20 días
Colección bilingüe de más de 100 diagramas originales que explican LLM, RL, RLHF, DPO, GRPO y algoritmos relacionados con modelos grandes.
5 mil478PythonOtherActualizado el mes pasado
Framework unificado para ajustar eficientemente más de 100 LLM y VLM con una CLI y una interfaz web sin código.
75,6 mil9,3 milPythonApache-2.0Actualizado hace 3 días
Herramienta CLI para ajustar y seguir entrenando LLM con una sola configuración YAML, con opciones para usar GPU de consumo con poca VRAM.
9,5 mil1,6 milPythonApache-2.0Actualizado hace 14 horas
Framework gratuito y de código abierto para ajustar y realizar el posentrenamiento de modelos de lenguaje grandes mediante archivos YAML.
12,6 mil1,6 milPythonApache-2.0Actualizado anteayer