TRL documentation

TRL - Aprendizaje por refuerzo para Transformers

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

TRL - Aprendizaje por refuerzo para Transformers

TRL es una biblioteca de pila completa en la que proporcionamos un conjunto de herramientas para entrenar modelos de lenguaje transformers con métodos como Supervised Fine-Tuning (SFT), Group Relative Policy Optimization (GRPO), Direct Preference Optimization (DPO), Reward Modeling, entre otros. La biblioteca está integrada con 🤗 transformers.

🎉 Novedades

⚡ AsyncGRPOTrainer ya es estable: AsyncGRPOTrainer pasa a la API estable. Ejecuta GRPO mucho más rápido al desacoplar la generación del entrenamiento: un servidor vLLM transmite los rollouts mientras el trainer actualiza el modelo.

Taxonomía

A continuación se presenta un resumen de los entrenadores de TRL, organizados por madurez y tipo de método.

Métodos en línea

Modelado de recompensas

Métodos sin conexión

Destilación de conocimiento

Experimental

También puedes explorar modelos, conjuntos de datos y demostraciones relacionados con TRL en la organización de Hugging Face de TRL.

Aprender

Aprende sobre el entrenamiento posterior con TRL y otras bibliotecas en el 🤗 smol course.

Contenido

La documentación se organiza en las siguientes secciones:

  • Introducción: guía de instalación y primeros pasos.
  • Guías conceptuales: formatos de conjuntos de datos, preguntas frecuentes sobre entrenamiento y comprensión de registros.
  • Guías de uso: reducir el uso de memoria, acelerar el entrenamiento, distribuir el entrenamiento, etc.
  • Integraciones: DeepSpeed, PEFT, etc.
  • Ejemplos: resumen de ejemplos, tutoriales de la comunidad, etc.
  • API: entrenadores, utilidades, etc.

Publicaciones del blog

thumbnail

Publicado el 27 de mayo de 2026

Enviando un billón de parámetros con un cubo del Hub: sincronización de pesos delta en TRL

thumbnail

Publicado el 31 de marzo de 2026

TRL v1: Biblioteca de pos-entrenamiento que resiste cuando el campo invalida sus propias suposiciones

thumbnail

Publicado el 10 de marzo de 2026

Que los tokens fluyan: lecciones de 16 bibliotecas de RL de código abierto

thumbnail

Publicado el 9 de marzo de 2026

Paralelismo de secuencia Ulysses: entrenamiento con contextos de millones de tokens

thumbnail

Publicado el 23 de octubre de 2025

Construyendo juntos el ecosistema de agentes abiertos: presentación de OpenEnv

thumbnail

Publicado el 7 de agosto de 2025

Alineación de modelos de visión y lenguaje en TRL ⚡️

thumbnail

Publicado el 3 de junio de 2025

Ninguna GPU queda atrás: Desbloqueando la eficiencia con vLLM co-ubicado en TRL

thumbnail

Publicado el 25 de mayo de 2025

🐯 Liger GRPO se encuentra con TRL

thumbnail

Publicado el 28 de enero de 2025

Open-R1: una reproducción completamente abierta de DeepSeek-R1

thumbnail

Publicado el 10 de julio de 2024

Optimización de preferencias para modelos de visión y lenguaje con TRL

thumbnail

Publicado el 12 de junio de 2024

Devolver el RL al RLHF

thumbnail

Publicado el 10 de enero de 2024

Haz que el ajuste fino de LLM sea 2 veces más rápido con Unsloth y 🤗 TRL

thumbnail

Publicado el 29 de septiembre de 2023

Ajustar modelos de Stable Diffusion con DDPO mediante TRL

thumbnail

Publicado el 8 de agosto de 2023

Ajuste fino de Llama 2 con DPO

thumbnail

Publicado el 5 de abril de 2023

StackLLaMA: una guía práctica para entrenar LLaMA con RLHF

thumbnail

Publicado el 9 de marzo de 2023

Ajuste fino de LLMs de 20B con RLHF en una GPU de consumo de 24GB

thumbnail

Publicado el 9 de diciembre de 2022

Ilustración del Aprendizaje por Refuerzo con Retroalimentación Humana

Charlas

Update on GitHub