# Contoh

Direktori [`examples/`](https://github.com/huggingface/trl/tree/main/examples) berisi kumpulan contoh mandiri yang menunjukkan cara menggunakan pustaka TRL untuk berbagai aplikasi. **Setiap contoh berada di foldernya sendiri** yang dinamai berdasarkan metode dan tugas yang ditunjukkan (misalnya `grpo_wordle`, `sft_gpt_oss_chess`), dan menyimpan semua yang dibutuhkan contoh tersebut: skrip, notebook, prompt, template chat, dan kode evaluasi.

Skrip pelatihan single-trainer dasar bukanlah contoh: mereka berada di [`trl/scripts`](https://github.com/huggingface/trl/tree/main/trl/scripts) dan dipaparkan melalui [antarmuka baris perintah](clis) (`trl sft`, `trl dpo`, `trl grpo`, …). Halaman dokumentasi masing-masing trainer juga berisi potongan kode lengkap yang dapat dijalankan.

Sumber daya bersama berada di akar `examples/`:

- [`examples/deepspeed_configs`](https://github.com/huggingface/trl/tree/main/examples/deepspeed_configs): file konfigurasi DeepSpeed ZeRO, yang diteruskan dengan `--deepspeed`, dan digunakan oleh banyak contoh.
- [`examples/fsdp_configs`](https://github.com/huggingface/trl/tree/main/examples/fsdp_configs): file konfigurasi FSDP, yang diteruskan dengan `--fsdp --fsdp_config` (hanya `--fsdp` di baris perintah membutuhkan transformers 5.10 atau lebih baru; pada versi yang lebih lama, atur `fsdp=True` di konfigurasi pelatihan).
- [`examples/datasets`](https://github.com/huggingface/trl/tree/main/examples/datasets): skrip yang digunakan untuk menghasilkan dataset `trl-lib` yang dipakai di seluruh contoh.

**Mulai**

Instal TRL dan dependensi tambahan sebagai berikut:

```bash
pip install --upgrade trl[quantization]
```

Periksa dependensi opsional tambahan [di sini](https://github.com/huggingface/trl/blob/main/pyproject.toml). Contoh berbasis notebook bersifat mandiri dan dapat dijalankan di **Colab gratis**; contoh berbasis skrip dijalankan pada setup single-GPU, multi-GPU, atau DeepSpeed (lihat [Distributed Training](#distributed-training) di bawah).

## Indeks

| Contoh | Deskripsi | Buka di Colab |
| --- | --- | --- |
| [`async_distillation_math`](https://github.com/huggingface/trl/tree/main/examples/async_distillation_math) | Distilasi on-policy asinkron pada GSM8K dengan [experimental.async_distillation.AsyncDistillationTrainer](/docs/trl/v1.18.2/id/async_distillation_trainer#trl.experimental.async_distillation.AsyncDistillationTrainer): guru disajikan melalui HTTP dengan vLLM. | |
| [`async_distillation_mopd`](https://github.com/huggingface/trl/tree/main/examples/async_distillation_mopd) | Distilasi on-policy multi-guru (MOPD) dengan [experimental.async_distillation.AsyncDistillationTrainer](/docs/trl/v1.18.2/id/async_distillation_trainer#trl.experimental.async_distillation.AsyncDistillationTrainer): menggabungkan pakar matematika, kode, dan mengikuti instruksi dari Open-MOPD ke dalam checkpoint SFT mereka: 17,5 menjadi 24,2 pada AIME24 dan 67,5 menjadi 73,0 pada IFEval dalam 60 langkah (skrip, peluncur Hugging Face Jobs, dan README dengan hasilnya). | |
| [`async_grpo_harbor`](https://github.com/huggingface/trl/tree/main/examples/async_grpo_harbor) | Pelatihan AsyncGRPO pada suite tugas [Harbor](https://huggingface.co/docs/openenv/environments/harbor) melalui agen coding yang terinstal (`mini-swe-agent`, `opencode`, `claude-code`, ...) yang disajikan melalui [OpenEnv](openenv): agen memiliki loop-nya sendiri di dalam sandbox dan TRL melatih pada token ids dan logprobs yang dicatat oleh proxy capture. | |
| [`async_grpo_math`](https://github.com/huggingface/trl/tree/main/examples/async_grpo_math) | GRPO asinkron pada GSM8K dengan [AsyncGRPOTrainer](/docs/trl/v1.18.2/id/async_grpo_trainer#trl.AsyncGRPOTrainer), memisahkan proses generasi (server vLLM) dari pelatihan, termasuk varian LoRA yang hanya menyinkronkan adapter ke server vLLM. | |
| [`dpo_reduce_hallucinations`](https://github.com/huggingface/trl/tree/main/examples/dpo_reduce_hallucinations) | Fine-tuning DPO pada Vision Language Model untuk mengurangi halusinasi menggunakan dataset [openbmb/RLAIF-V-Dataset](https://huggingface.co/datasets/openbmb/RLAIF-V-Dataset). | |
| [`gold_chatbot_arena`](https://github.com/huggingface/trl/tree/main/examples/gold_chatbot_arena) | General Online Logit Distillation (GOLD) dari guru Qwen2 ke siswa Llama 3.2 (cross-tokenizer) pada chatbot_arena_completions dengan [experimental.gold.GOLDTrainer](/docs/trl/v1.18.2/id/gold_trainer#trl.experimental.gold.GOLDTrainer), dengan varian full-training dan LoRA. | |
| [`gold_qwen3_vl`](https://github.com/huggingface/trl/tree/main/examples/gold_qwen3_vl) | General Online Logit Distillation (GOLD) dari Qwen3-VL-8B ke siswa VLM yang lebih kecil menggunakan [experimental.gold.GOLDTrainer](/docs/trl/v1.18.2/id/gold_trainer#trl.experimental.gold.GOLDTrainer), mencakup distilasi dalam keluarga yang sama (loss JSD) dan lintas keluarga (loss ULD). | |
| [`grpo_2048`](https://github.com/huggingface/trl/tree/main/examples/grpo_2048) | GRPO dengan pemanggilan alat untuk mengajarkan model bermain game 2048. | |
| [`grpo_browsergym`](https://github.com/huggingface/trl/tree/main/examples/grpo_browsergym) | GRPO dengan lingkungan [OpenEnv](openenv) BrowserGym, dengan varian LLM dan VLM. | |
| [`grpo_carla`](https://github.com/huggingface/trl/tree/main/examples/grpo_carla) | GRPO dengan lingkungan [OpenEnv](openenv) untuk mengemudi otonom CARLA, dengan varian LLM dan VLM (respons alat gambar kamera multimodal). | |
| [`grpo_catch`](https://github.com/huggingface/trl/tree/main/examples/grpo_catch) | GRPO dengan Catch (OpenSpiel) [OpenEnv](openenv) environment. | |
| [`grpo_continuous_batching`](https://github.com/huggingface/trl/tree/main/examples/grpo_continuous_batching) | GRPO dengan mesin continuous batching dari transformers untuk generasi yang lebih cepat pada batch besar dengan panjang penyelesaian yang bervariasi. | |
| [`grpo_echo`](https://github.com/huggingface/trl/tree/main/examples/grpo_echo) | Pelatihan GRPO minimal dengan lingkungan [OpenEnv](openenv) Echo. | |
| [`grpo_harbor`](https://github.com/huggingface/trl/tree/main/examples/grpo_harbor) | Pelatihan GRPO terhadap suite tugas Harbor dengan agen dasar yang dapat dicabut (`bash` / `jupyter` / `terminal_notes` harness). Lihat panduan [Integrasi Harbor](harbor). | |
| [`grpo_ministral3_vl`](https://github.com/huggingface/trl/tree/main/examples/grpo_ministral3_vl) | GRPO Ministral 3 dengan QLoRA di Colab gratis. | [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/huggingface/trl/blob/main/examples/grpo_ministral3_vl/grpo_ministral3_vl.ipynb) |
| [`grpo_multi_env`](https://github.com/huggingface/trl/tree/main/examples/grpo_multi_env) | Pelatihan GRPO multi-lingkungan: Wordle + Catch [OpenEnv](openenv) lingkungan dalam satu eksekusi pelatihan yang sama. | |
| [`grpo_qlora`](https://github.com/huggingface/trl/tree/main/examples/grpo_qlora) | GRPO menggunakan QLoRA di Colab gratis. | [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/huggingface/trl/blob/main/examples/grpo_qlora/grpo_qlora.ipynb) |
| [`grpo_qwen3_vl`](https://github.com/huggingface/trl/tree/main/examples/grpo_qwen3_vl) | GRPO Qwen3-VL dengan QLoRA di Colab gratis. | [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/huggingface/trl/blob/main/examples/grpo_qwen3_vl/grpo_qwen3_vl.ipynb) |
| [`grpo_rnj_1_instruct`](https://github.com/huggingface/trl/tree/main/examples/grpo_rnj_1_instruct) | GRPO pada rnj-1-instruct dengan QLoRA di Colab untuk menambahkan kemampuan penalaran. | [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/huggingface/trl/blob/main/examples/grpo_rnj_1_instruct/grpo_rnj_1_instruct.ipynb) |
| [`grpo_seta`](https://github.com/huggingface/trl/tree/main/examples/grpo_seta) | Pelatihan GRPO terhadap lingkungan SETA ORS di katalog openreward.ai. Lihat panduan [Integrasi OpenReward](openreward). | |
| [`grpo_sql_agent`](https://github.com/huggingface/trl/tree/main/examples/grpo_sql_agent) | GRPO untuk melatih agen yang menjawab pertanyaan dengan meng-query basis data SQL (skrip dan notebook; tidak dapat dijalankan di Colab gratis karena OOM). | |
| [`grpo_sudoku`](https://github.com/huggingface/trl/tree/main/examples/grpo_sudoku) | GRPO untuk bermain Sudoku (TextArena) pada lingkungan [OpenEnv](openenv), dimulai dari model SFT: 0, 10, dan 22 teka-teki dari 30 terpecahkan pada 26 sel kosong untuk model base, SFT, dan SFT + GRPO (skrip, notebook, dan README dengan hasilnya). | [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/huggingface/trl/blob/main/examples/grpo_sudoku/grpo_sudoku.ipynb) |
| [`grpo_visual_math`](https://github.com/huggingface/trl/tree/main/examples/grpo_visual_math) | Fine-tuning GRPO untuk model multimodal guna penalaran menggunakan dataset [lmms-lab/multimodal-open-r1-8k-verified](https://huggingface.co/datasets/lmms-lab/multimodal-open-r1-8k-verified). | |
| [`grpo_wordle`](https://github.com/huggingface/trl/tree/main/examples/grpo_wordle) | GRPO untuk bermain Wordle (TextArena) di lingkungan [OpenEnv](openenv) (skrip dan notebook). | [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/huggingface/trl/blob/main/examples/grpo_wordle/grpo_wordle.ipynb) |
| [`gspo_math`](https://github.com/huggingface/trl/tree/main/examples/gspo_math) | GSPO melalui [GRPOTrainer](/docs/trl/v1.18.2/id/grpo_trainer#trl.GRPOTrainer) untuk penalaran matematika pada dataset [AI-MO/NuminaMath-TIR](https://huggingface.co/datasets/AI-MO/NuminaMath-TIR). | |
| [`gspo_visual_math`](https://github.com/huggingface/trl/tree/main/examples/gspo_visual_math) | GSPO melalui [GRPOTrainer](/docs/trl/v1.18.2/id/grpo_trainer#trl.GRPOTrainer) untuk fine-tune model multimodal untuk penalaran menggunakan dataset [lmms-lab/multimodal-open-r1-8k-verified](https://huggingface.co/datasets/lmms-lab/multimodal-open-r1-8k-verified). | |
| [`lfm2_5_moe_research_agent`](https://github.com/huggingface/trl/tree/main/examples/lfm2_5_moe_research_agent) | LiquidAI/LFM2.5-8B-A1B dalam dua langkah: SFT penuh pada pemanggilan fungsi xLAM di satu node 8xH100 dengan [SFTTrainer](/docs/trl/v1.18.2/id/sft_trainer#trl.SFTTrainer), dipecah saat pemuatan oleh `DistributedConfig` dari transformers (paralelisme pakar dengan dispatch token, ditambah FSDP), kemudian GRPO agen riset multi-turn pada HotpotQA dengan [GRPOTrainer](/docs/trl/v1.18.2/id/grpo_trainer#trl.GRPOTrainer) dan `environment_factory` (alat `search` / `read`, reward kecocokan persis). | |
| [`mpo_visual_preferences`](https://github.com/huggingface/trl/tree/main/examples/mpo_visual_preferences) | MPO melalui [DPOTrainer](/docs/trl/v1.18.2/id/dpo_trainer#trl.DPOTrainer) untuk menyelaraskan model multimodal berdasarkan preferensi menggunakan dataset [HuggingFaceH4/rlaif-v_formatted](https://huggingface.co/datasets/HuggingFaceH4/rlaif-v_formatted) dan seperangkat bobot loss. | |
| [`online_dpo_visual_math`](https://github.com/huggingface/trl/tree/main/examples/online_dpo_visual_math) | Fine-tuning DPO online untuk Vision Language Model dengan [experimental.online_dpo.OnlineDPOTrainer](/docs/trl/v1.18.2/id/online_dpo_trainer#trl.experimental.online_dpo.OnlineDPOTrainer). | |
| [`rloo_math`](https://github.com/huggingface/trl/tree/main/examples/rloo_math) | RLOO dengan [RLOOTrainer](/docs/trl/v1.18.2/id/rloo_trainer#trl.RLOOTrainer) untuk penalaran matematika pada dataset [AI-MO/NuminaMath-TIR](https://huggingface.co/datasets/AI-MO/NuminaMath-TIR) dengan vLLM. | |
| [`rloo_visual_math`](https://github.com/huggingface/trl/tree/main/examples/rloo_visual_math) | Fine-tuning RLOO untuk model multimodal guna penalaran menggunakan dataset [lmms-lab/multimodal-open-r1-8k-verified](https://huggingface.co/datasets/lmms-lab/multimodal-open-r1-8k-verified). | |
| [`sdft_privileged_context`](https://github.com/huggingface/trl/tree/main/examples/sdft_privileged_context) | Fine-tuning dengan self-distillation menggunakan [experimental.sdft.SDFTTrainer](/docs/trl/v1.18.2/id/sdft_trainer#trl.experimental.sdft.SDFTTrainer), yang mendistilasi konteks istimewa (hanya untuk teacher) ke dalam model. | |
| [`sdpo_math`](https://github.com/huggingface/trl/tree/main/examples/sdpo_math) | SDPO dengan [experimental.sdpo.SDPOTrainer](/docs/trl/v1.18.2/id/sdpo_trainer#trl.experimental.sdpo.SDPOTrainer) menggunakan reward matematika yang dapat diverifikasi dan umpan balik lingkungan opsional pada [openai/gsm8k](https://huggingface.co/datasets/openai/gsm8k). | |
| [`sft_agent_traces`](https://github.com/huggingface/trl/tree/main/examples/sft_agent_traces) | SFT dari Qwen3.5-2B pada jejak agen: Qwen3.5-397B-A17B menyelesaikan tugas analisis data [Harbor](harbor) sebagai agen OpenCode di Hugging Face Sandboxes, yang direkam oleh [OpenEnv](openenv), dan model siswa dilatih pada percakapan yang telah terselesaikan dengan loss hanya untuk asisten. Pada tugas di mana datanya tidak disentuh oleh jejak mana pun, sekitar 500 jejak meningkatkan kinerjanya dari 7,6% menjadi 33,3% (skrip rollout, dataset, dan pelatihan, serta README dengan hasilnya). | |
| [`sft_beam`](https://github.com/huggingface/trl/tree/main/examples/sft_beam) | LoRA SFT dari reflection/Beam-1.0-501B-A23B pada satu node 8xB300 dengan [SFTTrainer](/docs/trl/v1.18.2/id/sft_trainer#trl.SFTTrainer), di-shard saat load oleh `DistributedConfig` dari transformers (expert parallelism dengan token dispatch). | |
| [`sft_diffusion_gemma`](https://github.com/huggingface/trl/tree/main/examples/sft_diffusion_gemma) | SFT dari model bahasa block-diffusion DiffusionGemma pada GSM8K dengan memperluas [SFTTrainer](/docs/trl/v1.18.2/id/sft_trainer#trl.SFTTrainer) menggunakan tujuan block-diffusion. | |
| [`sft_gemma3`](https://github.com/huggingface/trl/tree/main/examples/sft_gemma3) | SFT dari Gemma 3 pada dataset Codeforces COTS. | |
| [`sft_gemma3_vision`](https://github.com/huggingface/trl/tree/main/examples/sft_gemma3_vision) | SFT dari Gemma 3 pada tugas dari visi ke teks. | |
| [`sft_gpt_oss_chess`](https://github.com/huggingface/trl/tree/main/examples/sft_gpt_oss_chess) | Fine-tuning penuh openai/gpt-oss-20b pada teka-teki catur dengan [SFTTrainer](/docs/trl/v1.18.2/id/sft_trainer#trl.SFTTrainer): TRL memuat para ahli MXFP4-nya dalam bentuk dequantized, dan para ahli yang telah di-fine-tune dikuantisasi kembali ke MXFP4 untuk disajikan seperti aslinya. | |
| [`sft_ministral3_vl`](https://github.com/huggingface/trl/tree/main/examples/sft_ministral3_vl) | SFT Ministral 3 dengan QLoRA di Colab gratis. | [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/huggingface/trl/blob/main/examples/sft_ministral3_vl/sft_ministral3_vl.ipynb) |
| [`sft_mistral_large_4`](https://github.com/huggingface/trl/tree/main/examples/sft_mistral_large_4) | LoRA SFT dari mistralai/Mistral-Large-4-1T-A52B di atas bobot FP8-nya pada satu node 8xB300 dengan [SFTTrainer](/docs/trl/v1.18.2/id/sft_trainer#trl.SFTTrainer), di-shard saat pemuatan oleh `DistributedConfig` dari transformers (parallelisme pakar dengan dispatch token). | |
| [`sft_nemotron_3`](https://github.com/huggingface/trl/tree/main/examples/sft_nemotron_3) | SFT dari model NVIDIA Nemotron 3 (skrip dan notebook LoRA). | [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/huggingface/trl/blob/main/examples/sft_nemotron_3/sft_nemotron_3.ipynb) |
| [`sft_qlora`](https://github.com/huggingface/trl/tree/main/examples/sft_qlora) | SFT menggunakan QLoRA di Colab gratis. | [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/huggingface/trl/blob/main/examples/sft_qlora/sft_qlora.ipynb) |
| [`sft_qwen3_8b_1m_context`](https://github.com/huggingface/trl/tree/main/examples/sft_qwen3_8b_1m_context) | SFT dari Qwen3-8B pada sekuens 1.048.576 token dengan paralelisme konteks, di satu node 8xH100. | |
| [`sft_qwen3_vl`](https://github.com/huggingface/trl/tree/main/examples/sft_qwen3_vl) | SFT Qwen3-VL dengan QLoRA di Colab gratis. | [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/huggingface/trl/blob/main/examples/sft_qwen3_vl/sft_qwen3_vl.ipynb) |
| [`tail_sft_gsm8k`](https://github.com/huggingface/trl/tree/main/examples/tail_sft_gsm8k) | TailSFT pada GSM8K dengan memperluas [SFTTrainer](/docs/trl/v1.18.2/id/sft_trainer#trl.SFTTrainer) menggunakan penyaringan kerugian kebijakan awal. | |
| [`sft_muse_spark_open`](https://github.com/huggingface/trl/tree/main/examples/sft_muse_spark_open) | LoRA SFT dari meta-models/Muse-Spark-Open-816B-A42B pada 8 node dengan [SFTTrainer](/docs/trl/v1.18.2/id/sft_trainer#trl.SFTTrainer), di-shard saat load oleh `DistributedConfig` dari transformers (expert parallelism dengan token dispatch). | |
| [`sft_tool_calling`](https://github.com/huggingface/trl/tree/main/examples/sft_tool_calling) | Mengajarkan pemanggilan alat (tool calling) kepada model tanpa dukungan pemanggilan alat bawaan menggunakan SFT dengan QLoRA (skrip, template obrolan, dan notebook). | [![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/huggingface/trl/blob/main/examples/sft_tool_calling/sft_tool_calling.ipynb) |
| [`sft_visual_chat`](https://github.com/huggingface/trl/tree/main/examples/sft_visual_chat) | SFT pada Vision Language Model dalam pengaturan chat. Hanya diuji dengan [LLaVA 1.5](https://huggingface.co/llava-hf/llava-1.5-7b-hf), [LLaVA 1.6](https://huggingface.co/llava-hf/llava-v1.6-mistral-7b-hf), dan [Llama-3.2-11B-Vision-Instruct](https://huggingface.co/meta-llama/Llama-3.2-11B-Vision-Instruct); pengguna mungkin mengalami perilaku yang tidak terduga pada arsitektur model lainnya. | |
| [`xtoken`](https://github.com/huggingface/trl/tree/main/examples/xtoken) | X-Token off-policy cross-tokenizer knowledge distillation dengan [experimental.gold.GOLDTrainer](/docs/trl/v1.18.2/id/gold_trainer#trl.experimental.gold.GOLDTrainer), termasuk persiapan matriks proyeksi. | |

## Pelatihan Terdistribusi

Anda dapat menjalankan skrip contoh pada beberapa GPU dengan torchrun:

```shell
torchrun --nproc_per_node {NUM_GPUS} path_to_script.py --all_arguments_of_the_script
```

Untuk DeepSpeed ZeRO-{1,2,3}:

```shell
torchrun --nproc_per_node {NUM_GPUS} path_to_script.py --deepspeed examples/deepspeed_configs/zero{1,2,3}.json --all_arguments_of_the_script
```

Sesuaikan `NUM_GPUS` dan `--all_arguments_of_the_script` sesuai kebutuhan.

