# TRL - Pembelajaran Penguatan Transformers

TRL adalah pustaka full stack yang menyediakan seperangkat alat untuk melatih model bahasa transformer dengan metode seperti Supervised Fine-Tuning (SFT), Group Relative Policy Optimization (GRPO), Direct Preference Optimization (DPO), Reward Modeling, dan lainnya. Pustaka ini terintegrasi dengan 🤗 [transformers](https://github.com/huggingface/transformers).

## 🎉 Apa yang Baru

**🔥 Mistral Large 4:** Lakukan fine-tuning pada [Mistral Large 4](https://huggingface.co/mistralai/Mistral-Large-4-1T-A52B) menggunakan [SFTTrainer](/docs/trl/main/id/sft_trainer#trl.SFTTrainer) di satu node dengan 8 B300, di atas bobot FP8-nya. Lihat [contoh LoRA](https://github.com/huggingface/trl/tree/main/examples/sft_mistral_large_4).

**🚀 Pelatihan pada GPU AMD:** Trainer TRL sekarang berjalan di [AMD Instinct GPUs](amd_gpus) melalui build ROCm dari PyTorch.

**🔥 Beam:** Lakukan fine-tuning pada [Beam](https://huggingface.co/reflection/Beam-1.0-501B-A23B) menggunakan [SFTTrainer](/docs/trl/main/id/sft_trainer#trl.SFTTrainer) di satu node dengan 8 B300. Lihat [contoh LoRA](https://github.com/huggingface/trl/tree/main/examples/sft_beam).

**🔥 Muse Spark Open:** Lakukan fine-tuning pada [Muse Spark Open](https://huggingface.co/meta-models/Muse-Spark-Open-816B-A42B) menggunakan [SFTTrainer](/docs/trl/main/id/sft_trainer#trl.SFTTrainer), yang di-shard di seluruh GPU Anda saat load. Lihat [contoh LoRA 8-node](https://github.com/huggingface/trl/tree/main/examples/sft_muse_spark_open).

**🚀 Pelatihan di AWS Trainium:** Trainer TRL sekarang berjalan di [AWS Trainium](aws_trainium) melalui TorchNeuron, backend Neuron native dari PyTorch.

## Taksonomi

Berikut adalah ringkasan trainer TRL, yang diorganisasi berdasarkan tingkat kematangan dan jenis metode.

#### Metode online

- [`GRPOTrainer`](grpo_trainer)
- [`RLOOTrainer`](rloo_trainer)

#### Pemodelan reward

- [`RewardTrainer`](reward_trainer)

#### Metode offline

- [`SFTTrainer`](sft_trainer)
- [`DPOTrainer`](dpo_trainer)
- [`KTOTrainer`](kto_trainer)

#### Distilasi pengetahuan

- [`DistillationTrainer`](distillation_trainer)

### Eksperimental

#### Metode online

- [`A2POTrainer`](a2po_trainer)
- [`AsyncGRPOTrainer`](async_grpo_trainer)
- [`GMPOTrainer`](gmpo)
- [`OnlineDPOTrainer`](online_dpo_trainer)

#### Metode offline

- [BEMA untuk Model Referensi](bema_for_reference_model)
- [`CPOTrainer`](cpo_trainer)
- [`ORPOTrainer`](orpo_trainer)

#### Distilasi pengetahuan

- [`AsyncDistillationTrainer`](async_distillation_trainer)
- [`GKDTrainer`](gkd_trainer)
- [`GOLDTrainer`](gold_trainer)
- [`IWOPDTrainer`](iw_opd_trainer)
- [`SDFTTrainer`](sdft_trainer)
- [`SDPOTrainer`](sdpo_trainer)

Anda juga dapat menjelajahi model, dataset, dan demo terkait TRL di [organisasi TRL Hugging Face](https://huggingface.co/trl-lib).

## Pelajari

Pelajari post-training dengan TRL dan pustaka lainnya di 🤗 [smol course](https://github.com/huggingface/smol-course).

## Isi

Dokumentasi ini disusun ke dalam bagian-bagian berikut:

- **Mulai**: panduan instalasi dan pengenalan cepat.
- **Panduan Konseptual**: format dataset, FAQ pelatihan, dan memahami log.
- **Panduan Cara**: mengurangi penggunaan memori, mempercepat pelatihan, mendistribusikan pelatihan, dll.
- **Integrasi**: DeepSpeed, PEFT, dll.
- **Contoh**: ringkasan contoh, tutorial komunitas, dll.
- **API**: trainer, util, dll.

## Artikel blog

  
    
      
      Diterbitkan pada 27 Mei 2026 Mengirimkan Triliunan Parameter dengan Hub Bucket: Sinkronisasi Bobot Delta di TRL
    
    
      
      Diterbitkan pada 31 Maret 2026 TRL v1: Perpustakaan Pelatihan Pasca yang Tetap Kokoh Saat Bidang Ini Membatalkan Asumsinya Sendiri
    
    
      
      Diterbitkan pada 10 Maret 2026 Keep the Tokens Flowing: Pelajaran dari 16 Library RL Open-Source
    
    
      
      Diterbitkan pada 9 Maret 2026 Ulysses Sequence Parallelism: Pelatihan dengan Konteks Jutaan Token
    
    
      
      Diterbitkan 23 Oktober 2025 Membangun Ekosistem Agen Terbuka Bersama: Memperkenalkan OpenEnv
    
    
      
      Diterbitkan pada 7 Agustus 2025 Penyelarasan Model Bahasa Visi di TRL ⚡️
    
    
      
      Diterbitkan pada 3 Juni 2025 Tidak ada GPU yang tertinggal: Membuka efisiensi dengan vLLM yang terlokasi bersama di TRL
    
    
      
      Diterbitkan pada 25 Mei 2025 🐯 Liger GRPO bertemu TRL
    
    
      
      Diterbitkan pada 28 Januari 2025 Open-R1: reproduksi sepenuhnya terbuka dari DeepSeek-R1
    
    
      
      Diterbitkan pada 10 Juli 2024 Preference Optimization untuk Vision Language Models dengan TRL
    
    
      
      Diterbitkan pada 12 Juni 2024 Mengembalikan RL ke RLHF
    
    
      
      Diterbitkan pada 10 Januari 2024 Membuat Fine-tuning LLM 2x lebih cepat dengan Unsloth dan 🤗 TRL
    
    
      
      Diterbitkan pada 29 September 2023 Menyetel Ulang Model Stable Diffusion dengan DDPO melalui TRL
    
    
      
      Diterbitkan pada 8 Agustus 2023 Fine-tune Llama 2 dengan DPO
    
    
      
      Diterbitkan pada 5 April 2023 StackLLaMA: Panduan praktis untuk melatih LLaMA dengan RLHF
   
    
      
      Diterbitkan pada 9 Maret 2023 Fine-tuning 20B LLMs dengan RLHF pada GPU konsumen 24GB
    
    
      
      Diterbitkan pada 9 Desember 2022 Mengilustrasikan Pembelajaran Penguatan dari Umpan Balik Manusia
    
  

## Pembicaraan

  
    
      
      Pembicaraan yang disampaikan pada 30 Oktober 2025 Fine tuning dengan TRL