Repolode
Enviar
huggingface

huggingface/trl

Uma biblioteca da Hugging Face para pós-treinar modelos de linguagem transformer com SFT, GRPO, DPO, KTO e modelagem de recompensas.

Ver no GitHubSite
Estrelas
19,561
Forks
3,086
Issues abertas
289
Último commit
há 3 horas

O que é?

TRL é uma biblioteca para pós-treinamento de modelos fundacionais, com métodos como Supervised Fine-Tuning (SFT), Group Relative Policy Optimization (GRPO), Direct Preference Optimization (DPO), Kahneman-Tversky Optimization (KTO) e treinamento de modelos de recompensa. Cada método é disponibilizado como uma classe trainer, como SFTTrainer, GRPOTrainer, DPOTrainer, KTOTrainer e RewardTrainer, que encapsula o trainer do Hugging Face Transformers.

TRL se baseia no ecossistema Transformers e usa Accelerate para escalar de uma única GPU a clusters com vários nós, com DDP, DeepSpeed ZeRO e FSDP. A biblioteca se integra ao PEFT para treinamento com quantização e LoRA/QLoRA em hardware modesto, e ao Unsloth para kernels otimizados. Uma interface de linha de comando permite executar SFT, DPO e KTO sem escrever código.

O projeto também inclui uma área experimental em trl.experimental, com recursos que podem mudar sem aviso prévio. Atualizações recentes adicionam suporte para treinamento em GPUs AMD Instinct via ROCm e AWS Trainium via TorchNeuron.

Recursos principais

  • 01Classes trainer para SFT, GRPO, DPO, KTO e modelagem de recompensas.
  • 02Treinamento em várias GPUs e vários nós via Accelerate, DeepSpeed e FSDP.
  • 03Suporte a LoRA e QLoRA por meio do PEFT para treinar com memória limitada.
  • 04Interface de linha de comando para executar SFT, DPO e KTO sem escrever código.
  • 05Integração com Hugging Face Transformers e os datasets do Hub.

Casos de uso

  • Ajustar um LLM de pesos abertos com datasets de instruções ou conversas usando SFT.
  • Alinhar um modelo a pares de preferências humanas usando DPO.
  • Treinar um modelo com recompensas de aprendizado por reforço via GRPO.
  • Treinar um modelo de recompensa para pontuar respostas em pipelines de RL subsequentes.

Início rápido

  1. 1

    Instale a biblioteca do PyPI

    pip install trl
  2. 2

    Execute um exemplo básico de treinamento SFT pela API do Python

  3. 3

    Ou faça o ajuste fino pela linha de comando com a CLI do trl

    trl sft --model_name_or_path Qwen/Qwen2.5-0.5B --dataset_name trl-lib/Capybara --output_dir Qwen2.5-0.5B-SFT

Antes de usar

  • Treinar modelos grandes exige uma GPU de alta capacidade. O README indica PEFT/LoRA e quantização para reduzir o uso de memória.
  • A área experimental em trl.experimental pode mudar ou ser removida sem aviso prévio.

Tópicos

#llm#reinforcement-learning#fine-tuning#transformers#rlhf#dpo#peft#pytorch

Perguntas frequentes

O que é trl?
Uma biblioteca da Hugging Face para pós-treinar modelos de linguagem transformer com SFT, GRPO, DPO, KTO e modelagem de recompensas. TRL é uma biblioteca para pós-treinamento de modelos fundacionais, com métodos como Supervised Fine-Tuning (SFT), Group Relative Policy Optimization (GRPO), Direct Preference Optimization (DPO), Kahneman-Tversky Optimization (KTO) e treinamento de modelos de recompensa. Cada método é disponibilizado como uma classe trainer, como SFTTrainer, GRPOTrainer, DPOTrainer, KTOTrainer e RewardTrainer, que encapsula o trainer do Hugging Face Transformers.
trl é gratuito? Qual é a licença?
trl é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
trl ainda é mantido?
Manutenção ativa. O último commit de trl foi em 21 de out. de 2026.
Para que posso usar trl?
Ajustar um LLM de pesos abertos com datasets de instruções ou conversas usando SFT. Alinhar um modelo a pares de preferências humanas usando DPO. Treinar um modelo com recompensas de aprendizado por reforço via GRPO. Treinar um modelo de recompensa para pontuar respostas em pipelines de RL subsequentes.
Como instalar trl?
Instale a biblioteca do PyPI: pip install trl Execute um exemplo básico de treinamento SFT pela API do Python Ou faça o ajuste fino pela linha de comando com a CLI do trl: trl sft --model_name_or_path Qwen/Qwen2.5-0.5B --dataset_name trl-lib/Capybara --output_dir Qwen2.5-0.5B-SFT
Onde consigo trl?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/huggingface/trl

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados