Repolode
Enviar
huggingface

huggingface/trl

Una biblioteca de Hugging Face para el postentrenamiento de modelos de lenguaje transformer con SFT, GRPO, DPO, KTO y modelado de recompensas.

Ver en GitHubSitio web
Estrellas
19,561
Forks
3,086
Issues abiertos
289
Último commit
hace 3 horas

¿Qué es?

TRL es una biblioteca para el postentrenamiento de modelos fundacionales que incluye métodos como Supervised Fine-Tuning (SFT), Group Relative Policy Optimization (GRPO), Direct Preference Optimization (DPO), Kahneman-Tversky Optimization (KTO) y el entrenamiento de modelos de recompensa. Cada método está disponible en una clase de trainer, como SFTTrainer, GRPOTrainer, DPOTrainer, KTOTrainer y RewardTrainer, que envuelve el trainer de Hugging Face Transformers.

TRL se basa en el ecosistema de Transformers y usa Accelerate para escalar desde una sola GPU hasta clústeres de varios nodos con DDP, DeepSpeed ZeRO y FSDP. Se integra con PEFT para entrenar con cuantización y LoRA/QLoRA en hardware modesto, y con Unsloth para usar kernels optimizados. Su interfaz de línea de comandos permite ejecutar SFT, DPO y KTO sin escribir código.

El proyecto también incluye un área experimental en trl.experimental con funciones que pueden cambiar sin previo aviso. Entre las actualizaciones recientes se añade compatibilidad para entrenar en GPU AMD Instinct mediante ROCm y en AWS Trainium mediante TorchNeuron.

Funciones clave

  • 01Clases de trainer para SFT, GRPO, DPO, KTO y modelado de recompensas.
  • 02Entrenamiento con varias GPU y varios nodos mediante Accelerate, DeepSpeed y FSDP.
  • 03Compatibilidad con LoRA y QLoRA a través de PEFT para entrenar con memoria limitada.
  • 04Interfaz de línea de comandos para ejecutar SFT, DPO y KTO sin escribir código.
  • 05Integración con Hugging Face Transformers y los conjuntos de datos de Hub.

Casos de uso

  • Ajustar un LLM de pesos abiertos con conjuntos de datos de instrucciones o chat mediante SFT.
  • Alinear un modelo con pares de preferencias humanas mediante DPO.
  • Entrenar un modelo con recompensas de aprendizaje por refuerzo mediante GRPO.
  • Entrenar un modelo de recompensa para puntuar respuestas en pipelines posteriores de RL.

Inicio rápido

  1. 1

    Instala la biblioteca desde PyPI

    pip install trl
  2. 2

    Ejecuta un ejemplo básico de entrenamiento SFT desde la API de Python

  3. 3

    O ajusta el modelo desde la línea de comandos con la CLI de trl

    trl sft --model_name_or_path Qwen/Qwen2.5-0.5B --dataset_name trl-lib/Capybara --output_dir Qwen2.5-0.5B-SFT

Antes de usarlo

  • Entrenar modelos grandes requiere una GPU de gran capacidad. El README recomienda PEFT/LoRA y la cuantización para reducir el consumo de memoria.
  • El área experimental de trl.experimental puede cambiar o desaparecer sin previo aviso.

Temas

#llm#reinforcement-learning#fine-tuning#transformers#rlhf#dpo#peft#pytorch

Preguntas frecuentes

¿Qué es trl?
Una biblioteca de Hugging Face para el postentrenamiento de modelos de lenguaje transformer con SFT, GRPO, DPO, KTO y modelado de recompensas. TRL es una biblioteca para el postentrenamiento de modelos fundacionales que incluye métodos como Supervised Fine-Tuning (SFT), Group Relative Policy Optimization (GRPO), Direct Preference Optimization (DPO), Kahneman-Tversky Optimization (KTO) y el entrenamiento de modelos de recompensa. Cada método está disponible en una clase de trainer, como SFTTrainer, GRPOTrainer, DPOTrainer, KTOTrainer y RewardTrainer, que envuelve el trainer de Hugging Face Transformers.
¿trl es gratuito? ¿Qué licencia tiene?
trl es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿trl sigue mantenido?
Mantenimiento activo. El último commit de trl fue el 21 oct 2026.
¿Para qué puedo usar trl?
Ajustar un LLM de pesos abiertos con conjuntos de datos de instrucciones o chat mediante SFT. Alinear un modelo con pares de preferencias humanas mediante DPO. Entrenar un modelo con recompensas de aprendizaje por refuerzo mediante GRPO. Entrenar un modelo de recompensa para puntuar respuestas en pipelines posteriores de RL.
¿Cómo se instala trl?
Instala la biblioteca desde PyPI: pip install trl Ejecuta un ejemplo básico de entrenamiento SFT desde la API de Python O ajusta el modelo desde la línea de comandos con la CLI de trl: trl sft --model_name_or_path Qwen/Qwen2.5-0.5B --dataset_name trl-lib/Capybara --output_dir Qwen2.5-0.5B-SFT
¿Dónde consigo trl?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/huggingface/trl

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados