Hugging Face's logo

TRL documentation

コミュニティのチュートリアル

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v1.17.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

コミュニティのチュートリアル

コミュニティチュートリアルは、Hugging Face コミュニティのアクティブなメンバーが、自らの知識や専門性を他者と共有するために作成したものです。ライブラリとその機能について学ぶ、またコアなクラスやモダリティでの入門を行うための優れた方法です。

言語モデル

チュートリアル

タスククラス説明著者チュートリアルColab
強化学習GRPOTrainerTRLによるGRPOとvLLMを用いた効率的なオンライン学習Sergio PaniegoリンクOpen In Colab
強化学習GRPOTrainerTRLでGRPOを用いてLLMの推論能力を強化学習Sergio PaniegoリンクOpen In Colab
強化学習GRPOTrainerMini-R1: Deepseek R1の「アハ体験」を再現するRLチュートリアルPhilipp SchmidリンクOpen In Colab
強化学習GRPOTrainerGRPOとUnslothの最適化を用いたLLaMA 3.1-8BでのRLAndrea ManzoniリンクOpen In Colab
指示チューニングSFTTrainerChatML形式とQLoRAを使用してGoogle Gemma LLMのファインチューニングPhilipp SchmidリンクOpen In Colab
構造化生成SFTTrainerQLoRAとPEFTを使用して、Llama-2-7Bをファインチューニングし、JSON形式のペルシア語製品カタログを生成するMohammadreza EsmaeilianリンクOpen In Colab
Preference OptimizationDPOTrainerDirect Preference Optimization を使用して Mistral-7b を整列し、人間の好みとの整合性を図りますMaxime LabonneリンクOpen In Colab
Preference Optimizationexperimental.orpo.ORPOTrainerORPOによる指示チューニングと選好アライメントの組み合わせでLlama 3をファインチューニングMaxime LabonneリンクOpen In Colab
指示チューニングSFTTrainer2025年にHugging FaceでオープンLLMをファインチューニングする方法Philipp SchmidリンクOpen In Colab
ステップレベルの推論GRPOTrainervLLMによるステップバイステップ推論のための教師あり強化学習(SRL)Deepak SwaminathanリンクOpen In Colab

動画

タスクタイトル著者動画
指示チューニングHugging Face TRL を使用したオープン AI モデルのファインチューニングWietse Venema
指示チューニングHugging Face、TRL、smoltalk Dataset を使用して smol-LM をファインチューニングする方法Mayurji
⚠️ Deprecated features notice for "How to fine-tune a smol-LM with Hugging Face, TRL, and the smoltalk Dataset" (click to expand)

このチュートリアルでは、非推奨の2つの機能を使用しています:

  • SFTTrainer(..., tokenizer=tokenizer): SFTTrainer(..., processing_class=tokenizer) を使用するか、単に省略してください（モデルから推論されます）。
  • setup_chat_format(model, tokenizer): SFTConfig(..., chat_template_path="Qwen/Qwen3-0.6B") を使用します。chat_template_path は、コピーしたいチャットテンプレートを持つモデルを指定します。

ビジョン言語モデル

チュートリアル

タスククラス説明著者チュートリアルColab
ビジュアルQASFTTrainerChartQAデータセットで視覚的質問応答のためにQwen2-VL-7BのファインチューニングSergio PaniegoリンクOpen In Colab
ビジュアルQASFTTrainerFine-tuning SmolVLM with TRL on a consumer GPUSergio PaniegoリンクOpen In Colab
SEO説明SFTTrainer画像からSEOに優しい説明文を生成するためのQwen2-VL-7BのファインチューニングPhilipp SchmidリンクOpen In Colab
ビジュアルQADPOTrainerPaliGemma 🤝 Direct Preference OptimizationMerve NoyanリンクOpen In Colab
ビジュアルQADPOTrainerTRL を使用して、SmolVLM を直接選好最適化 (DPO) でファインチューニングする（コンシューマー向け GPU での実行）Sergio PaniegoリンクOpen In Colab
オブジェクト検出グラウンディングSFTTrainerTRL を使用してオブジェクト検出グラウンディング用の VLM をファインチューニングSergio PaniegoリンクOpen In Colab
ビジュアルQADPOTrainerTRL を使用して MPO でビジョン言語モデルをファインチューニングするSergio PaniegoリンクOpen In Colab
強化学習GRPOTrainerTRLを使用してGRPOで推論能力を向上させるためのVLMのポストトレーニングSergio PaniegoリンクOpen In Colab

音声言語モデル

チュートリアル

タスククラス説明著者チュートリアル
テキスト読み上げGRPOTrainerTRLを使用してGRPOでSpeech Language ModelのポストトレーニングSteven Zhengリンク

コントリビューション

このリストに追加したいチュートリアルをお持ちの場合は、PR を開いてください。コミュニティに関連性があると判断された場合、レビューのうえマージいたします。

Update on GitHub

←例の概要 後悔しないLoRA→