TRL - Transformers Reinforcement Learning

O TRL é uma biblioteca de pilha completa em que fornecemos um conjunto de ferramentas para treinar modelos de linguagem transformer com métodos como Supervised Fine-Tuning (SFT), Group Relative Policy Optimization (GRPO), Direct Preference Optimization (DPO), Reward Modeling, entre outros. A biblioteca é integrada ao 🤗 transformers.

🎉 Novidades

🔥 Mistral Large 4: Faça o fine-tuning de Mistral Large 4 com SFTTrainer em um único nó com 8 B300s, sobre seus pesos FP8. Veja o exemplo de LoRA.

🚀 Treinamento em GPUs AMD: Os treinadores do TRL agora rodam em GPUs AMD Instinct por meio da build ROCm do PyTorch.

🔥 Beam: Faça o fine-tuning do Beam com o SFTTrainer em um único nó com 8 B300s. Veja o exemplo de LoRA.

🔥 Muse Spark Open: Faça o fine-tuning de Muse Spark Open com SFTTrainer, distribuído em shards entre suas GPUs no momento do carregamento. Veja o exemplo de LoRA com 8 nós.

🚀 Treinamento no AWS Trainium: Os treinadores do TRL agora rodam no AWS Trainium por meio do TorchNeuron, o backend Neuron nativo do PyTorch.

Taxonomia

Abaixo está uma visão geral dos treinadores do TRL, organizados por maturidade e tipo de método.

Métodos online

Modelagem de recompensa

RewardTrainer

Métodos offline

Destilação de conhecimento

DistillationTrainer

Experimental

Métodos online

Métodos offline

Destilação de conhecimento

Você também pode explorar modelos, conjuntos de dados e demonstrações relacionados ao TRL na organização TRL no Hugging Face.

Aprender

Aprenda pós-treinamento com TRL e outras bibliotecas no 🤗 smol course.

Conteúdos

A documentação é organizada nas seguintes seções:

Começando: guia de instalação e introdução rápida.
Guias conceituais: formatos de conjunto de dados, perguntas frequentes sobre treinamento e compreensão de logs.
Guias passo a passo: reduzir o uso de memória, acelerar o treinamento, distribuir o treinamento, etc.
Integrações: DeepSpeed, PEFT, etc.
Exemplos: visão geral de exemplos, tutoriais da comunidade, etc.
API: treinadores, utilitários, etc.