TRL documentation

TRL - 基于 Transformers 的强化学习

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

TRL - 基于 Transformers 的强化学习

TRL 是一个全栈库,我们提供了一系列工具,用于使用监督微调(SFT)、组相对策略优化(GRPO)、直接偏好优化(DPO)、奖励建模等方法训练 Transformer 语言模型。 该库与 🤗 transformers 集成。

🎉 新功能

⚡ AsyncGRPOTrainer 现已稳定: AsyncGRPOTrainer 已升级为稳定 API。它通过将生成与训练解耦,大幅提升了 GRPO 的运行速度:vLLM 服务器流式传输 rollout,同时训练器更新模型。

分类

以下是按成熟度和方法类型整理的 TRL 训练器概览。

实验性

您还可以在 TRL Hugging Face 组织 中探索与 TRL 相关的模型、数据集和演示。

学习

在 🤗 smol course 中,学习使用 TRL 及其他库进行后训练。

目录

文档分为以下几个部分:

  • 入门指南:安装和快速入门指南。
  • 概念指南:数据集格式、训练常见问题解答以及日志解读。
  • 操作指南:减少内存占用、加快训练速度、分布式训练等。
  • 集成:DeepSpeed、PEFT 等
  • 示例:示例概览、社区教程等。
  • API:训练器、工具等。

博客文章

演讲

Update on GitHub