TRL documentation
非同期蒸留
非同期蒸留
このトレーナーには
vllm、transformers>=5.2.0、kernels(学習時にこれを通じて Hub から FlashAttention を読み込む)が必要です。分散学習では、FSDP2 のみサポートされています(DeepSpeed ZeRO はサポートされていません)。現在、
vllmとtransformersの依存関係の制約が競合しています。これを回避するには、まずvLLMをインストールし、次にtransformersを強制インストールし、その後TRLのextraを通じてkernelsを追加します。これにより、transformersが受け入れるバージョンが固定されます。pip install vllm pip install 'transformers>=5.2.0' --no-deps pip install 'trl[kernels]'
概要
experimental.async_distillation.AsyncDistillationTrainer は DistillationTrainer の非同期版であり、AsyncGRPOTrainer と同様のアーキテクチャを採用しています。バックグラウンドのロールアウトワーカーが、学生モデル自身のオンポリシーな補完を生成し、教師モデルに対してスコアリングを行います。その間、生成と勾配更新を交互に行うのではなく、学習が並行して進行します。同期版のトレーナーとは異なり、教師モデルはローカルにロードされません。vLLM サーバーの URL だけで済むため、教師モデルは学生モデルやトレーナーとは完全に別のハードウェア上で実行できたり、学生モデルと並べて実行するには大きすぎるような、はるかに大きなモデルであっても利用できます。
compute_loss は、学生モデルと教師モデルの各位置のトークン分布間の汎化された Jensen-Shannon 分散を最小化します(beta=0.0 は forward KL、beta=1.0 は reverse KL、その間の値は補間します)。これは DistillationTrainer と ServerDistillationTrainer が使用するのと同じ目的関数です。学習は常に on-policy です。学生モデルは、学習に使用するすべての補完を自ら生成します。
マルチティーチャー・オンポリシー蒸留(MOPD)
MOPDは、このトレーナーのコア目標の基となっている2306.13649論文(同期型で単一教師の環境を記述している)の一部ではありません。MOPDは独立した手法であり、MOPD: Multi-Teacher On-Policy Distillation for Capability Integration in LLM Post-Trainingで説明されています。そこで、MOPDは3段階のうちの第3段階です。第1段階は一般的なSFT、第2段階はドメインごとに1つのエキスパートを独立してRLで訓練し、第3段階のMOPDでそれらの凍結されたエキスパートを単一の学生モデルに融合します。AsyncDistillationTrainerは、この第3段階の融合のみを実装しています。ドメインごとのエキスパート教師は、すでに存在している必要があります(例えば、GRPOTrainer/RLOOTrainerで別途訓練したもの)。また、teacher_server_urlsをそれらに向ける前に、HTTP経由で提供されている必要があります。論文自体の第3段階では、このトレーナーのデフォルトであるbeta=0.0(フォワードKL)ではなく、逆KL(beta=1.0)を使用しています。
teacher_server_urls は複数のエントリを受け付けます。エントリが1つの場合、すべてのサンプルはその1つの教師によってスコアリングされます(プレーンなオンポリシー蒸留)。複数のエントリがある場合、各トレーニングサンプルのteacher_idカラムが、どの教師によってスコアリングされるかを決定します。例えば、数学のプロンプトは数学特化の教師に、コードのプロンプトはコード特化の教師にルーティングされ、それぞれが独立してサーブされます。各サンプルは、該当する1つの教師にのみディスパッチされ、教師間で平均化やアンサンブル化されることはありません。teacher_idが欠落しているか、マッピングされていないサンプルは、誤った教師にサイレントにフォールバックするのではなく、例外を発生させます。実行可能な例として、Open-MOPDとともにリリースされた数学、コード、指示追従のエキスパートを、それらの共有SFTチェックポイントに融合させるexamples/async_distillation_mopd/async_distillation_mopd.pyを参照してください。また、単一のHugging Face Jobsコマンドで4つのGPU上で実行するには、examples/async_distillation_mopd/launcher.pyを使用してください。
すべての教師は、生徒のトークナイザーを共有する必要があります。補完は生のトークン ID として教師に送信され、教師が返す候補 ID は、
compute_loss内で生徒自身の語彙を直接インデックスします。生徒と同じモデルファミリーに属する教師(MOPD の例のように、同じチェックポイントから訓練された SmolLM3 のエキスパートから融合された SmolLM3 の生徒の場合)はこの条件を満たしますが、語彙が異なる教師は、生徒を誤ったトークンに対して訓練してしまいます。ただし、その語彙が生徒の語彙より大きい場合を除き、この問題は静かに進行します。
チェックポイントと再開: ignore_data_skip のデフォルト値は True です。ベースの Trainer のスキップおよびリプレイのループは、ライブのロールアウトキューには適用されません。代わりに、まだ学習されていない最初のプロンプトのインデックスが、各チェックポイントとともに rollout_state.json に保存され、再開時に復元されます。これにより、ワーカーはサンプルをリプレイせずにそのプロンプトまで高速転送します。これは生成器の位置ではなく、学習済みの位置です。ワーカーはロールアウトキューの深さ分だけ学習より先行して動作し、これらのバッファリングされたサンプルは実行終了時に失われるため、生成器の位置から再開すると、生成されたが学習されなかったプロンプトがスキップされてしまいます。ストリーミングデータセット(IterableDataset)は再位置指定できません。そのため、再開時にワーカーはプロンプト 0 から再起動します。FSDP を bf16=True(デフォルト)または fp16=True で使用する場合、マスターウェイトが fp32 であるにもかかわらず、model.safetensors はその dtype で書き出されます。そのため、プッシュされたチェックポイントはサーブされるモデルのサイズであり、その 2 倍ではありません。fp32 のマスターウェイトとオプティマイザの状態は、再開ファイル(pytorch_model_fsdp.bin、optimizer.bin)に保存され、再開時に読み込まれるのはこれらなので、再開には影響しません。FSDP を使用しない場合、チェックポイントは再開ファイルでもあるため、マスターの dtype が保持されます。
DistillationTrainerとの違い
DistillationTrainerでは、教師モデルはローカルにロードされたモデルであり、生成、教師モデルのフォワードパス、勾配の更新はすべて同じプロセス内で順次実行されます。experimental.async_distillation.AsyncDistillationTrainerは、AsyncGRPOTrainerがGRPOのロールアウトと更新を分離するのと同じ方法で、これらの処理を分離します:
- Rollout worker(バックグラウンドプロセス)— 生徒の vLLM サーバーから補完を生成し、教師による強制スコアリング(教師は新しいトークンを生成しない)のために
prompt_logprobsを付与して完全なシーケンスを解決済み教師の/v1/completionsに送信し、学習可能なサンプルをキューにプッシュします。 - 学習ループ(メインプロセス)— キューからサンプルを取得し、汎化JSD損失を計算して、学生モデルの重みを更新します。
教師モデルはローカルなフォワードパスではなく HTTP 経由でスコアリングされるため、送信されるのはその分布のスパースな top-k スライス(teacher_top_k)のみであり、完全な語彙ではありません。各 beta レジームにおいて、ワイヤプロトコルが教師モデルの logprob を保証する候補が具体的にどれであるかは、experimental.async_distillation.AsyncDistillationConfig の beta および teacher_top_k のドキュメントを参照してください。
weight_sync_steps 回の学習ステップごとに、更新された学生モデルの重みが NCCL を介してその vLLM サーバーに転送されます。AsyncGRPOTrainer と同様に、生成は学習より先行して実行されるため、サンプルはわずかに古いポリシーを反映している可能性があります。max_staleness は、サンプルが破棄される前に、何回の重み更新分だけ遅れていてもよいかを制御します。
クイックスタート
# train_async_distillation.py
from datasets import load_dataset
from trl.experimental.async_distillation import AsyncDistillationTrainer
if __name__ == "__main__": # the rollout worker is a spawned process that re-imports this script
dataset = load_dataset("trl-lib/DeepMath-103K", split="train")
trainer = AsyncDistillationTrainer(
model="Qwen/Qwen2.5-0.5B-Instruct",
train_dataset=dataset,
)
trainer.train()教師サーバー、生徒のvLLMサーバー、そしてトレーナーは、別々のGPUで実行する必要があります。どちらも通常のvllm serveインスタンスですが、異なるフラグが必要です。教師はスコアリングのみ行われるため、teacher_temperatureが返されるlogprobsに反映されるよう--logprobs-mode processed_logprobsを、teacher_top_kがvLLMのデフォルト上限である20を超えることができるよう--max-logprobs -1を指定します。一方、生徒は生成のみ行われるため、トレーナーが更新された重みをプッシュできるようにNCCLによる重み転送を有効にする必要があります。スコアリングでは生徒のシーケンス全体が送信され、教師に1トークン追加の生成が要求されるため、教師の--max-model-len(またはそのデフォルト値)は生徒のものより大きくなければなりません。
# Terminal 1: teacher server on GPU 0 (static, never updated)
CUDA_VISIBLE_DEVICES=0 vllm serve Qwen/Qwen2.5-1.5B-Instruct \
--port 8001 \
--logprobs-mode processed_logprobs \
--max-logprobs -1# Terminal 2: student's vLLM server on GPU 1 (dev mode + NCCL weight transfer are required)
CUDA_VISIBLE_DEVICES=1 VLLM_SERVER_DEV_MODE=1 vllm serve Qwen/Qwen2.5-0.5B-Instruct \
--port 8000 \
--weight-transfer-config '{"backend":"nccl"}'# Terminal 3: training on GPU 2
CUDA_VISIBLE_DEVICES=2 python train_async_distillation.pyLoRA
peft_config を渡すことで、フルモデルではなく学生モデルに LoRA アダプターを学習できます:
from peft import LoraConfig
trainer = AsyncDistillationTrainer(
model="Qwen/Qwen2.5-0.5B-Instruct",
train_dataset=dataset,
peft_config=LoraConfig(r=32, lora_alpha=64, target_modules="all-linear"),
)すべてのウェイト同期において、更新されたstudentをそのサーバーに送信する必要があります。デフォルトでは、trainerはアダプターをベースモデルにマージし、マージ後の完全なウェイトを送信します。7Bモデルの場合、1回の同期で約15 GBになります。studentのvLLMサーバーを--enable-loraオプション付きで起動すると、アダプターのみが送信され、r=32の場合には約160 MBになります。
CUDA_VISIBLE_DEVICES=1 VLLM_SERVER_DEV_MODE=1 VLLM_ALLOW_RUNTIME_LORA_UPDATING=1 vllm serve Qwen/Qwen2.5-0.5B-Instruct \
--port 8000 \
--weight-transfer-config '{"backend":"nccl"}' \
--enable-lora \
--max-lora-rank 32 \
--max-loras 6VLLM_ALLOW_RUNTIME_LORA_UPDATING=1 を設定すると、トレーナーが各新しいアダプターを POST するエンドポイントが公開されます。テンソル並列でサーブする場合は VLLM_WORKER_MULTIPROC_METHOD=spawn を追加してください。いずれの場合も --weight-transfer-config を維持してください。トレーナーは起動時にのみ同期モードを選択しますが、その時点ではサーバーはすでに起動済みであり、マージされた同期がフォールバックとして使用されるためです。教師サーバーには影響しません。更新されることはありません。
--max-lora-rank は 1, 8, 16, 32, 64, 128, 256, 320, 512 のいずれかである必要があります。これはサーバーが提供できる最大のランクを設定するものであり、実際に提供するランクを指定するものではありません。そのため、r=4 のアダプターは 8 以下で問題なく動作します。--max-loras は少なくとも max_staleness + 2 である必要があります。トレーナーは max_staleness + 1 個のアダプターバージョンを登録したまま保持し、古いポリシーで開始されたロールアウトが生成の途中でポリシーを切り替えることなく、そのポリシーの下で完了できるようにします。また、各同期では、最も古いバージョンをアンロードする前に次のバージョンを読み込みます。トレーナーは起動時にこれらの値の両方をチェックし、サーバーを再起動するために必要な設定を通知します。
vLLM はネットワーク経由ではなくディスクからアダプターを読み込むため、トレーナーは各バージョンを<output_dir>/.vllm_lora/の下に書き出し、そのパスをサーバーに渡します。サーバーが別のマシンで実行される場合、そのディレクトリは両方のマシンからアクセス可能なファイルシステム上に存在する必要があります。
<output_dir>/.vllm_lora/はサービング用キャッシュであり、学習したアダプタが保存される場所ではありません。ここには最新のバージョンのみが保持され、staleness window から外れた直後に削除されます。学習したアダプタを保持するのはチェックポイントです。そのため、チェックポイントの保存を無効にしないでください。save_strategy="no"を設定すると、数時間かけて実行しても何も残らずに終了してしまいます。output_dirはサーバーから読み取れる必要があり、ジョブの終了後も残存する必要があります。そのため、ノードローカルのスクラッチ領域は、遅い共有ファイルシステムでの同期を回避できる利点があっても機能しません。
Adapter sync が常に高速であるとは限りません。vLLM は、マージ済み重みをサーブする場合と比較して、LoRA アダプタをサーブする場合にトークンあたり約 1.33〜1.39 倍遅くなります。また、生成処理が通常、実時間(wall-clock time)の大部分を占めます。その代わりとして得られるのは、各 sync 時の停止時間が大幅に短くなることと、sync 帯域幅が約 1% になることです。生成スループットがボトルネックとなっている場合は、マージ済み sync の方が多くの場合、より良い選択です。
記録されたメトリクス
ロールアウトが勾配になるまで、いくつかの段階を通過します。プロンプトから最終的なバッチ構成までの各段階を、まず見ていきましょう。
Dataset row = PROMPT (message list + optional `teacher_id`)
└─ ROLLOUT (1 prompt -> 1 student completion -> 1 teacher scoring call)
├─ generate (student's vLLM /v1/completions, sampled)
└─ score (the routed teacher's /v1/completions with `prompt_logprobs`, teacher-forced)
└─ SAMPLE (prompt + completion + the teacher's sparse per-position distribution)
════════════ Trainer process boundary: `rollout_buffer` (mp.Queue) ════════════
└─ SAMPLE (Pulled 1 at a time; dropped if staleness > `max_staleness`)
└─ ROW (Planner assigns it to one of `dp` rows, Σ Lᵢ²-balanced)
└─ MICRO-BATCH (`dp` rows, one per rank)
└─ PACKED ROW (1 concat sequence, `position_ids` reset per sample)
└─ FORWARD (`compute_loss`, bs=1, inter-rank padding stripped)
└─ OPTIMIZER STEP (from `grad_accum` micro-batches)上から下へ読んでいくと:
- rolloutとは、一度生成され一度採点されるプロンプトのことです。グループは存在しません。蒸留には世代間で計算するアドバンテージベースラインがないため、プロンプトは繰り返し行われず、1回のrolloutからちょうど1つの学習サンプルが得られます。
- サンプルとは、その補完と、各補完位置における教師の上位
teacher_top_k候補です。これがプロセスの境界を越えて渡されます。 - 境界を越えると、トレーナーはサンプルを行(DPランクごとに1行)に計画し、各行を1つの連結シーケンスにパッキングし、
grad_accumのマイクロバッチを1回のオプティマイザーステップに累積します。
そのため、メトリクスは、どのステージ(またはエンティティ)に関するものかによって分割されます:
| 名前空間 | カウントするエンティティ |
|---|---|
rollout/ | 1回の生成とスコアリングの往復: 所要時間と到達した距離 |
completions/ | student(vLLM)が1つのプロンプトに対して生成した内容 |
sample/ | キューに届く1つのトレーニングサンプルを表します |
batch/ | 1つのマイクロバッチまたは1つのオプティマイザステップ(1つ以上のサンプルから構築) |
perf/ | 測定された秒数とFLOPs |
損失自体が測定するすべての値は、プレフィックスなしで記録されます(jsd、entropy、teacher_entropy)。MOPD では、teacher/<teacher_id>/* による内訳が記録されます。詳細は、以下の分散を参照してください。
トークン指標を明確にするために、いくつかの用語を定義しておきましょう。
- generated トークンは、学生モデルが生成したものです(
completions/*)。 - forwarded トークンとは、forward パスが処理するすべてのトークン、すなわちプロンプトと生成されたトークンを指します。
- trainedトークンは、
completion_mask == 1となる部分集合であり、損失はこの部分に対して計算されます。Trained ≠ generated: 教師モデルが候補をスコアリングしなかったcompletion位置は、分散の計算からマスクされますが、フォワードパスには引き続き含められます。
メトリクスは、ログウィンドウごとに1回記録されます。これは、直前のログ以降に記録されたすべての値を指し、直近のlogging_steps回のオプティマイザーステップをカバーします。ウィンドウ全体について:
rollout/duration_sやrollout/score_sのように、ロールアウトごと、サンプルごと、または呼び出しごとに測定される平均値は、ウィンドウ内のすべてのロールアウト、サンプル、または呼び出しに対して平均化されます。rollout/generated_tokens_per_sのようなレートは、トークン総数を秒総数で割った値です。- それ以外の場合、最後の部分に
countという単語を含む名前は合計されます。sample/dropped_stale_countは、トレーニング開始時ではなく、直前のログ以降に破棄されたサンプルの数です。 maxまたはminという単語を含む名前の最後の部分を持つもの、例えばsample/staleness_maxやcompletions/max_lengthなどは、最大値または最小値を保持します。- その他のメトリックは、ウィンドウ内で記録された値の平均です。
単位:
_s: 秒。tokens_per_s: 1秒あたりのトークン数。_frac: 0から1の間の割合。_per_step: 1回のオプティマイザーステップあたりの量。ウィンドウ内のステップで平均化されます。
GRPOTrainerが記録するその他のメトリクスは、GRPOの名称(completions/mean_length、completions/clipped_ratio)をそのまま維持します。
バッチ番号の構成
rowとは、1つの DP rank が 1 つの micro-batch で forward するものです。複数のサンプルを単一のシーケンスに連結し、position_idsは各サンプルの境界でリセットされます。どのサンプルをどの row に配置するかはプランナーが決定し(Σ Lᵢ² をバランスさせ、どの rank も遅延しないようにします)、連結処理はデータコラテーターが行います。
すべてのメトリクスにおいて、「step」は常にフルのオプティマイザーステップを指し、マイクロバッチを指すことはありません。gradient_accumulation_steps 個のマイクロバッチで 1 ステップを構成し、_per_step という名前のメトリクスはすべてオプティマイザーステップ単位であり、global_step、logging_steps などの Trainer の用語体系と一致しています。マイクロバッチ単位のメトリクスである場合はその旨が明記されています(batch/microbatches_per_step)、または行単位(サンプル単位)の量です(batch/row_*、batch/samples_per_row)。
したがって、1ステップには固定数のrow-slotsが含まれます:
row-slots per step = gradient_accumulation_steps x world_sizeこれにより、バッチメトリクスは互いに照合できる階層構造として構成されます。
sample sample/forwarded_tokens_mean
└─ packed into a ROW batch/samples_per_row, batch/row_tokens_mean
└─ one row per DP rank = one micro-batch
└─ gradient_accumulation_steps micro-batches = one STEP
batch/samples_per_step, batch/forwarded_tokens_per_stepしたがって、batch/samples_per_step ≈ row-slots x batch/samples_per_row となり、トークンについても同様です。両辺が一致するのは、ステップ内のマイクロバッチ間のばらつきまでです。ステップごとの指標は合計値、行ごとの指標は平均値であるため、完全な一致ではなく、数パーセント未満の誤差が生じることが予想されます。
batch/row_fill_frac は、サンプルが長い場合に注目すべき指標です。10k トークンのサンプルでは 32k の予算へのタイルリングが非常に悪く(3 個は収まるが 4 個は絶対に収まらないため、パッカーは多くの場合 2 個しか詰められず、行の充填率は約 77% になります)、一方、1k トークンのサンプルではほぼ完璧にタイルリングできます。これはバグではなく量子化(切り捨て)によるもので、token_budget が調整レバーです。ただし、アテンションはシーケンスごとに O(L²) であるため、長いシーケンスで構成される行がより満杯であっても、メモリコストは線形に増加しません。
ロールアウトキュー
ワーカーはスコア付きサンプルをキューにプッシュし、トレーナーはそこからプルします。この1つのキューを説明する4つのメトリクスがあり、それぞれ異なる質問に答えます。
| メトリック | 質問 |
|---|---|
rollout/queue_size | 現在、待機中のサンプルはいくつありますか |
sample/time_in_queue_s | 1つのサンプルが学習に使用される前にどれだけ待たされていたか — オフポリシー性の半分を占める秒数 |
perf/rollout_wait_s | キューが空だったため、トレーニングがブロックされたまま待機していた時間 |
rollout/backpressure_s | 生成(ワーカー)がトレーニングよりmax_stalenessステップ先行していたため、待機していた時間 |
最後の2つのメトリクス(perf/rollout_wait_sとrollout/backpressure_s)は鏡像の関係にあります。これらをキューサイズと併せて読むことで、ボトルネックがどちら側にあるかを判断できます。
- キューがほぼ空で、
perf/rollout_wait_sが高い場合 → 生成がボトルネックです。トレーナーが飢えている状態です。rollout/generated_tokens_per_s、rollout/concurrency、rollout/score_sを確認してください。 max_stalenessステップ分のトークンを保持するキュー、rollout/backpressure_sが高い → trainer-bound。生成が抑え込まれ、sample/staleness_meanは上限値付近に留まります。- 両方が高い →
max_stalenessの上限自体が厳しすぎます: 実行中のロールアウトが、そのサンプルがキューに到達する前に上限に達するため、生成が抑制されたままトレーナーが待機してしまいます。max_stalenessを引き上げてください。 - どちらもほぼゼロ → バランスがとれている!
補完
completionとは、学生側のvLLMサーバーが1つのプロンプトに対して生成した出力です。
| メトリック | 意味 |
|---|---|
completions/mean_length | ロールアウトあたりの生成トークン数 |
completions/min_length, completions/max_length | ウィンドウ内の最短および最長の補完 |
completions/clipped_ratio | EOSで終了せず、max_completion_lengthによって切り詰められた補完の割合 |
completions/mean_terminated_length, completions/min_terminated_length, completions/max_terminated_length | EOSで終了した補完について、同じ長さ |
ロールアウト
rolloutとは、1つのプロンプトを最後まで処理することを指します。学生モデルによって生成された後、教師モデルによって教師強制(teacher-forcing)で処理されます。教師モデルの呼び出しは、すべてのrolloutのクリティカルパス上にあります(GRPOでは、スコアリングは完了したグループに対する別のループとして行われるため異なります)。そのため、教師モデルが遅いと、rollout/duration_sに直接影響が出ます。
| メトリック | 意味 |
|---|---|
rollout/duration_s | 1回のロールアウトの壁時計時間(ディスパッチからスコア付きサンプルまでの時間):生成と教師モデルの呼び出し |
rollout/score_s | そのうち、教師の/v1/completions呼び出しにかかった時間 |
teacher/<id>/score_s | MOPD のみ: 教師ごとに同じです。1 つの遅いエキスパートは、そのエキスパートにルーティングされたロールアウトのみをスロットリングしますが、ブレンドされた平均値はこれを隠蔽します |
rollout/generated_tokens_per_s | 直近の区間(ウィンドウ方式)での生成スループット。これにより、スタール(停止)が発生した場合にそれが検出されます |
rollout/concurrency | 進行中のロールアウト、つまり生成中または採点中 |
rollout/vllm_retry_count | vLLMのリクエストの再試行は、学生サーバーまたは教師サーバーのいずれかに対して行われます。劣化したサーバーは、原因不明の遅延のように見えます。この指標は生成テキストではなくサーバーへのリクエストをカウントするため、completions/ではなく、ここに配置されています。 |
rollout/backpressure_s | max_staleness ステップ分先行していたため、生成が待機していた時間です。ロールアウトキューを参照してください。 |
rollout/queue_size | ロールアウトキューに待機しているスコア付きサンプル。トレーナーがそれらを取得する位置で測定されます。ロールアウトキューを参照してください。 |
キューから到着するサンプル
各サンプルは1つのRolloutSampleです。プロンプト、学生モデルの補完、および教師モデルによるそのスパースなスコアリングで構成されます。ワーカーはこれらをrollout_bufferにプッシュします。以下はすべて、学習用にそれらをプルするトレーナー側で測定されます。
| メトリック | 意味 |
|---|---|
sample/forwarded_tokens_mean, sample/forwarded_tokens_max | 1つのサンプル内のトークン数: プロンプト + 生成されたもの。パッキングは行レベルの関心事であり、batch/row_*を参照してください。 |
sample/trained_tokens_mean | そのうち、損失が計算されるのは何個か |
sample/time_in_queue_s | このサンプルが学習に使用されるまで、そのキューにどれだけ待たされていたかを示します。perf/rollout_wait_s とは異なります。ロールアウトキューを参照してください。 |
sample/staleness_mean, sample/staleness_max | データがどの程度ポリシーのバージョンに遅れているかを示します。jsdは、オフポリシー性が損失に与える効果を示しており、これが原因を示しています。 |
sample/dropped_stale_count | max_staleness を超えたため破棄されたサンプル |
バッチ
1つのマイクロバッチはworld_size行です(パッキングにより1つのシーケンスにフラット化されることをお忘れなく)。そのため、DPランクごとに1つずつ割り当てられ、ランクiは行iをフォワードします。これらのgradient_accumulation_steps回分が1回のオプティマイザーステップを構成します。したがって、1ステップでは合計でgradient_accumulation_steps × world_size行をカバーします。以下のすべての_per_stepメトリックは、ステップ全体およびすべてのランクにわたる合計値です。batch/row_*のメトリックは、行にわたる平均値です。
| メトリック | 意味 |
|---|---|
batch/forwarded_tokens_per_step, batch/trained_tokens_per_step | 1回のオプティマイザーステップで、それぞれフォワードとトレーニングされたトークン |
batch/samples_per_step | オプティマイザーステップあたりの学習サンプル数 |
batch/microbatches_per_step | 設定から読み取ったものではなく、カウントされたものです |
batch/masked_token_frac | completion_mask == 0 のトークンが転送される割合 — 勾配が得られないフォワードの割合 |
batch/samples_per_row, batch/row_tokens_mean, batch/row_tokens_max | plannerが各ランクの行をどれだけ高密度に詰め込んだか |
batch/row_fill_frac | token_budgetに対する行トークン。低い値は、予算が十分に活用されていないことを示します |
batch/row_imbalance | 行全体でmax Σ Lᵢ² / mean Σ Lᵢ²。AttentionはO(L²)なので、これがどのランクが勾配のall-reduceをボトルネックにしているかを予測します。1.0が完璧です |
batch/pad_frac | ランク間パディング。コストはブロードキャストのバイト数のみで、フォワードの前に除去されます |
batch/dropped_oversize_count | token_budget を超えたため破棄されたサンプル |
分岐
ウィンドウ内で学習されたトークンにわたって平均化された、目的関数自体が測定する値です。スループットではなく、学習の進捗を確認するための指標として注目すべき数値です。
| メトリック | 意味 |
|---|---|
jsd | 設定されたbetaにおける、損失関数が最小化対象とする汎化JSDです。値が低下している場合、生徒モデルの分布が教師モデルの分布に収束していることを示します。 |
entropy | 生徒自身の予測エントロピー。ここでjsdが低下しながら崩壊する場合は、生徒が学習しているのではなく、予測の幅を狭めていることを意味します。 |
teacher_entropy | 教師モデルが報告した候補に対するエントロピー。配線(通信)を通過するのはteacher_top_k個の候補のみであるため、真の値より下界に留まる。 |
teacher/<id>/jsd | MOPDのみ: jsdは、教師モデルがスコアリングしたトークンに限定されます。異なるドメインの教師モデルは、非常に異なる速度で乖離することがありますが、ブレンドされたjsdではこれらが混同されてしまいます。 |
teacher/<id>/entropy | MOPDのみ: teacher_entropyの同じ内訳 |
teacher/<id>/token_frac | MOPD のみ: スコアリングされたトークンの中で教師が取得した割合。ルーティングの偏りはそれ以外では見えない: 行が不足している教師は、依然として健全な teacher/<id>/jsd を報告する |
aux_loss | MoEルーターのマイクロバッチごとの負荷分散損失をランク間で平均した値。モデルがルーターのロジットを返し、かつrouter_aux_loss_coefが0でない場合に記録されます。上記の行とは異なり、トークンごとの平均ではありません。 |
教師ごとのentropyはありません。生徒のエントロピーは、そのサンプルをどの教師がスコアリングしたかではなく、生徒自身のポリシーの性質であるため、ブレンドされたメトリクスがすでにこれをカバーしています。
パフォーマンス
スループットは、トレーナーが1秒間に処理するトークン数を測定します。モデルFLOPs利用率(MFU)は、モデルのフォワードパスとバックワードパスに使用される、トレーニングデバイスの理論的な計算能力の割合を推定します。この推定に使用される能力は、ハードウェアとトレーニングの精度によって異なります。
スループットとMFUは、2つの時間基準で報告されます:
fwd_bwd_は、フォワードパスとバックワードパス中のパフォーマンスを測定します。wall_clock_は、オプティマイザーの更新、重みの同期、ロールアウトを待っている時間を含まれた、オプティマイザーステップ全体の性能を測定します。
この差により、計算性能と待機および調整のコストを区別できます。両方のMFU指標はトレーニングデバイスのみを記述しており、外部のロールアウトサーバーや教師サーバーの計算やハードウェア容量は含まれません。Wall-clock MFUは、これらのサービス自体の利用率ではなく、トレーナーがそれらのサービスを待機している時間を反映しています。
MFUは、選択した精度におけるローカルトレーニングデバイスのピーク計算能力が既知であり、かつFLOPsの推定値がモデルのアーキテクチャ(Llama、Qwen2、Qwen3、Qwen3-MoE、Qwen3-VLなど)をサポートしている場合にのみ報告されます。それ以外の場合は、MFUは省略されますが、トレーニングは継続され、スループットおよびタイミングのメトリクスは引き続き利用可能です。
| メトリック | 意味 |
|---|---|
perf/step_s | オプティマイザーステップ間の実時間: 計算、オプティマイザ、重み同期、キュー待ちを含む |
perf/fwd_bwd_s | forward + backward、ステップのマイクロバッチ全体で合計したもの。これは以下のすべてのfwd_bwd_メトリクスの分母です |
perf/fwd_s | そのフォワード部分です。fwd_s / fwd_bwd_sが1/3付近であるのが通常の比率です。これより高い値は、バックワードが安価であるか、フォワードで再計算のコストが発生していることを意味します。 |
perf/optimizer_s | optimizer.step() |
perf/rollout_wait_s | キューが空だったため、トレーナーがブロックされた状態が続いた時間です。ロールアウトキューを参照してください。 |
perf/weight_sync_s | 完全な同期、および_pause_s(vLLMの待機)、_barrier_s(ランクのズレ)、_transfer_s(バイト数) |
perf/fwd_bwd_forwarded_tokens_per_s, perf/wall_clock_forwarded_tokens_per_s | 各基準における1秒あたりのフォワードされたトークン数 |
perf/wall_clock_trained_tokens_per_s | 同じで、損失が参照したトークンのみを数えます |
perf/fwd_bwd_mfu, perf/wall_clock_mfu | 各基準におけるモデルのFLOPs利用率 |
設計思想
このトレーナーは意図的に最小限に保たれており、汎用的なソリューションとして拡張されることを想定していません。サポートされていない機能が必要な場合は、リポジトリをクローンし、ご自身のニーズに合わせてトレーナーを直接調整することをお勧めします。新機能の追加は、コミュニティからの需要が顕著な場合のみ検討されます。
AsyncDistillationConfig
クラス trl.experimental.async_distillation.AsyncDistillationConfig
< source >( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 1e-06lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool | None = Nonegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 1logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Truerestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool = Truelabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1model_init_kwargs: dict[str, typing.Any] | str | None = Nonedtype: str = 'float32'trust_remote_code: bool = Falserouter_aux_loss_coef: float | None = Nonemax_completion_length: int = 2048temperature: float = 1.0top_p: float = 1.0top_k: int = 0min_p: float | None = Nonerepetition_penalty: float = 1.0chat_template_kwargs: dict | str | None = Nonevllm_server_base_url: str = 'http://localhost:8000'vllm_server_timeout: float = 1800.0teacher_server_urls: dict[str, str] | str | None = Nonebeta: float = 0.0teacher_temperature: float = 1.0teacher_top_k: int = 8add_tail_bucket: bool = Truetoken_budget: int | None = Nonemax_concurrent_rollouts: int = 512max_staleness: int = 4weight_sync_steps: int = 1rollout_worker_timeout: float = 300.0log_completions: bool = Falselog_completions_steps: int = 100num_completions_to_print: int | None = None )
モデルを制御するパラメータ
- model_init_kwargs (
dict[str, Any]またはstr、省略可) — パスから学生モデルをインスタンス化する場合に使用される、from_pretrained のキーワード引数です。revisionの値は、処理クラスの読み込み時にも使用されます。 - dtype (
str, 省略可, デフォルトは"float32") — 学生モデルを読み込む際のデータ型。"auto","bfloat16","float16"または"float32". デフォルトは"float32"です。これは、非同期トレーナーが測定対象とするトレーニングと推論の不一致(FP16によるトレーニングと推論の不一致の克服) )が、トレーナー自体の精度に敏感であるためです。このギャップをエンドツーエンドで解消するには、学生モデルのvLLMサーバーも同じdtypeでサーブする必要があります(vllm serve --dtype). Adtypeのmodel_init_kwargs内のdtypeが優先されます。教師モデルのサーバーには影響しません。教師モデルは更新されないためです。これは、重みがロードされる際のdtypeのみを設定します。FSDPによる混合精度(
bf16=Trueがデフォルト)の場合、accelerateはシャーディングの前に、すべての学習可能なパラメータをfp32にアップキャストします。そのため、dtypeの値に関わらず、マスターの重みとオプティマイザの状態はfp32となり、フォワードとバックワードはbf16またはfp16で実行されます。その結果、チェックポイントはfp32ではなく、その混合精度のdtypeで書き出されます。FSDPを使用しない場合は、アップキャストは行われません。dtype="bfloat16"とbf16=Trueを組み合わせると、重みとオプティマイザの状態がbf16のまま保持され、純粋なbf16での学習となります。 - trust_remote_code (
bool, optional, defaults toFalse) — Whether to allow loading models and tokenizers that ship custom Python code from the Hub. Forwarded to from_pretrained and from_pretrained. - router_aux_loss_coef (
float, 任意) — Mixture-of-Experts (MoE) モデルにおける負荷分散用の補助損失の係数です。この重みで学習損失に追加されます。設定されていない場合、モデル設定で宣言された値が使用されます。0.0に設定すると無効になります。MoE 以外のモデルで使用するとエラーになります。
生成を制御するパラメータ
- max_completion_length (
int、任意、デフォルトは2048) — 1回の補完で生成するトークンの最大数。 - temperature (
float、任意、デフォルトは1.0) — 学生モデルのオンポリシー補完をサンプリングするための温度。 - top_p (
float、任意、デフォルトは1.0) — オンポリシー生成におけるトップp(ニュークレウス)サンプリングのパラメータです。 - top_k (
int、任意、デフォルトは0) — オンポリシー生成におけるTop-kサンプリングのパラメータです。0を指定すると、Top-kフィルタリングが無効になります。 - min_p (
float, 省略可) — トークンの最小確率です。最も確率の高いトークンの確率でスケーリングされます。0.0と1.0の間の値である必要があります。一般的な値は0.01-0.2の範囲です。 - repetition_penalty (
float、任意、デフォルト値は1.0) — プロンプトとこれまでに生成されたテキストにトークンが出現しているかどうかに基づいて、新しいトークンをペナルティする浮動小数点数です。 値が1.0より大きい場合、モデルは新しいトークンを使用するよう促され、値が1.0より小さい場合、モデルはトークンを繰り返すよう促されます。 - chat_template_kwargs (
dict[str, Any], 省略可) — 補完を生成する際にapply_chat_template関数に渡す追加のキーワード引数。
vLLM サーバーを制御するパラメータ
- vllm_server_base_url (
str、任意、デフォルトは"http --//localhost:8000"): 学生モデルのvLLMサーバーのベースURLです。生成と重みのストリーミング更新の両方に使用されます。 - vllm_server_timeout (
float、任意、デフォルト値は1800.0) — vLLM サーバーへの呼び出しのタイムアウト(秒)です。起動時の学生サーバーの準備完了待ち、各生成またはスコアリングのリクエスト、および各ウェイト同期の呼び出しに適用されます。サーバーの準備完了待ちとウェイト同期の呼び出しでは、タイムアウトに達すると例外が発生します。生成またはスコアリングのリクエストがタイムアウトした場合は、リトライされます。 - teacher_server_urls (
dict[str, str]、任意、デフォルトは{"default" -- "http://localhost:8001"}): Teacher vLLM サーバーです。各サーバーはvllm serve <teacher-model> --logprobs-mode processed_logprobs --max-logprobs -1で起動します。すべての teacher は静的です。この trainer はどの teacher にも重みの更新をストリーミングしないため、teacher にはVLLM_SERVER_DEV_MODEや重み転送バックエンドは不要で、スコアリングを正確にするための上記の 2 つのフラグのみが必要です(teacher_temperatureおよびteacher_top_kを参照)。すべての teacher は student と同じ tokenizer を共有する必要があります。completion は生のトークン ID として送信され、teacher が返す ID はcompute_loss内で student 自身の語彙を直接インデックスするために使用されるためです。語彙が異なる teacher を使用すると、誤ったトークンに対して学習が行われます。teacher の語彙サイズが student 以下の場合、この問題は静かに発生します。スコアリングは、student 自身の completion トークンに対する teacher-forced リクエストです(max_tokens=1、prompt_logprobs=teacher_top_k、temperature=teacher_temperature)。これは、同期型の server-teacher trainer においてget_sequence_logprobs()が発行するリクエストと同じものです。この使い捨てのトークンのため、teacher には student より大きな--max-model-lenが必要で、そうしないと最も長い completion をスコアリングできません。単一のエントリはすべてのサンプルをスコアリングします(通常の単一 teacher の on-policy 蒸留、デフォルト)。複数のエントリを指定すると MOPD(multi-teacher on-policy distillation、MOPD を参照)が有効になります。各トレーニング行のteacher_id列が、どのエントリでスコアリングするかを選択します。例えば、{"math": "http://localhost:8002", "code": "http://localhost:8003"}を指定し、行ごとにteacher_idを"math"または"code"に設定します。
蒸留損失を制御するパラメータ
- beta (
float、任意、デフォルトは0.0) — 汎化 Jensen-Shannon 分散の補間係数です。0.0は forward KL(mean-seeking)、1.0は reverse KL(mode-seeking)であり、その間の値は補間を行います。これは DistillationTrainer が内部で計算するのと同じ汎化 JSD 定式化に従います。分散が計算されるサポートは、ServerDistillationTrainerに倣って、レジームによって異なります。beta=0.0の場合、forward KL の重みがまさにそのサポートによって提供されるため、teacher が報告するteacher_top_k幅のサポート全体(および tail bucket)が使用されます。beta != 0.0の場合、サポートは teacher 自身の top-1 トークンと、completion の実際の(実現された)トークンの 2 つの候補に絞り込まれます。これは、wire プロトコルがより広い(または完全な)語彙を伝送せずに teacher の logprob を保証できるのは、これら 2 つのトークン識別子のみであるためです。これより広い範囲は、student 自身の可能性の高いトークンをカバーする確率的近似に過ぎず、保証にはなりません。 - teacher_temperature (
float、任意、デフォルト値は1.0) — 発散の Softmax 温度です。両側に適用されます。教師モデルには vLLM がサーバー側でこの温度で logprobs を計算するように送信され(クライアント側での再スケーリングではなく正確な計算が行われます)、学生モデルにはcompute_loss内の独自の logits に適用されます。これはServerDistillationTrainerの単一のtemperatureを反映しています。temperatureとは無関係であり、temperatureは学生モデルが補完をサンプリングする方法のみを制御します。この設定が返される logprobs に反映されるためには、教師モデルのサーバーが--logprobs-mode processed_logprobsで実行されている必要があります。そうでない場合、教師モデルは生の logprobs を黙って報告し、この設定は学生モデル側のみに影響します。 - teacher_top_k (
int、任意、デフォルトは8) —prompt_logprobsを介して教師モデルから要求する、各位置の候補トークンの数です。教師の分布を近似するために使用されるのは、これらの候補トークン、実現されたトークン(vLLM は top-k に含まれない場合でも常に報告します)、および残りの確率質量を捕捉するテールバケット(add_tail_bucketを参照)のみです。HTTP 経由で語彙全体が送信されることはありません。分散の学生側は厳密に計算されます(近似ではなく、ローカルで計算されるためです)。学生は学習対象のモデルであり、その完全な logits はすでにcompute_lossで利用可能だからです。8はスモークテスト向けの軽量なデフォルト値です。隣接する RL フレームワークの本番環境での on-policy-distillation セットアップでは、おおよそ同じ範囲のスパースな教師サポートが使用されています(miles のデフォルトは16、EasyOPD は64)。そのため、本格的な学習を開始する際は、この値を16〜64程度に引き上げるのが適切です。20を超える値を使用するには、教師のサーバーを--max-logprobs -1を指定して起動する必要があります。これにより、vLLM のトークンごとの logprob のデフォルト上限が解除されます。 - add_tail_bucket (
bool、省略可能、デフォルトはTrue) —teacher_top_kの範囲外の残りの確率質量を表すテールバケットを付加するかどうか。teacher_top_kが小さい場合、発散が自明に小さくなるのを避けるために使用します。 - token_budget (
int, 任意) — 1 行 (1 つの DP ランクの forward) にパックされる実トークンの最大数。TokenBudgetBatcherは、各行がこの予算内に収まるよう、Σ Lᵢ² でバランスの取れたマイクロバッチを形成します。これにより、サンプル数 (1 行あたりのサンプル数は動的になります) に依存せず、ピークメモリを上限できます。None(デフォルト) の場合、 学生 vLLM サーバーのmax_model_len(学習開始時にクエリされます) に設定されます。これはプロンプト + 補完の長さの上限であり、どのロールアウトサンプルも予算を超えないことを保証します。token_budgetを超える長さのサンプルはどの行にも収まらず、警告とともに破棄され、batch/dropped_oversize_countにカウントされます。
非同期ロールアウトパイプラインを制御するパラメータ
- max_concurrent_rollouts (
int、任意、デフォルトは512) — 学生モデルと教師モデルの vLLM サーバーに対して、同時に生成中または採点中のロールアウトの最大数。 - max_staleness (
int、任意、デフォルトは4) — ロールアウトサンプルが破棄される前に、現在のモデルバージョンに対して許容される最大ウェイト更新ステップ数です。生成はこれに制約されます。キューに入れられたトークンと処理中のトークンが、トレーナーがmax(max_staleness, 1)ステップで消費する量に収まる場合のみ、ロールアウトが開始されます。 - weight_sync_steps (
int、任意、デフォルトは1) — 学生モデルの vLLM サーバーへの重みの同期の間隔となる学習ステップ数。 - rollout_worker_timeout (
float、任意、デフォルト値は300.0) — rollout workerの最後のハートビートから、トレーナーがハングと判断して処理を中断するまでの秒数。
ログ出力を制御するパラメータ
- log_completions (
bool、省略可能、デフォルトはFalse) — スコアリングされたサンプルごとにlog_completions_stepsステップごとに、(プロンプト、補完)ペアのサンプルをログに記録するかどうか。 - log_completions_steps (
int、任意、デフォルトは100) — completions のログ出力の間隔となる、スコアリングされたサンプルの数です。log_completionsがTrueの場合のみ使用されます。カウントされるのは、rollout worker がスコアリングしたサンプル数であり、optimizer ステップではありません。worker は trainer とは別のプロセスで動作するため、self.state.global_stepを参照できません。 - num_completions_to_print (
int, 省略可) —richで表示する補完の数を指定します。Noneの場合、すべての補完がログに記録されます。
experimental.async_distillation.AsyncDistillationTrainer用の設定クラスです。
このクラスには、非同期オンポリシー蒸留に固有のパラメータのみが含まれます。学習引数の完全なリストについては、TrainingArgumentsのドキュメントを参照してください。なお、このクラスのデフォルト値は、TrainingArgumentsのものと異なる場合があります。構造はAsyncGRPOConfig(非同期パイプライン、vLLMサーバー、ログフィールドは同一)を踏襲していますが、GRPOのクリッピング/グループフィールドは、以下の教師蒸留損失フィールドに置き換えられています。
これらのパラメータは、TrainingArgumentsとは異なるデフォルト値を持っています:
logging_steps: デフォルト値が500ではなく1になります。gradient_checkpointing: デフォルト値がFalseではなくTrueに変更されました。bf16:fp16が設定されていない場合、デフォルトでFalseではなくTrueになります。learning_rate:5e-5ではなく、デフォルト値が1e-6に変更されました。ignore_data_skip: 既定値がFalseではなくTrueに変更されました。ベースのTrainerのスキップおよびリプレイのループは、非同期のロールアウトキューには適用されません。
AsyncDistillationTrainer
クラス trl.experimental.async_distillation.AsyncDistillationTrainer
< source >( model: str | PreTrainedModelargs: trl.experimental.async_distillation.async_distillation_config.AsyncDistillationConfig | None = Nonetrain_dataset: datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset | None = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | None = Nonecallbacks: list[transformers.trainer_callback.TrainerCallback] | None = Noneoptimizers: tuple[typing.Optional[torch.optim.Optimizer], typing.Optional[torch.optim.lr_scheduler.LambdaLR]] = (None, None)peft_config: PeftConfig | None = None )
パラメータ
- model (
strまたは PreTrainedModel) — 学習対象の Student モデル。以下のいずれかです:- huggingface.co上のモデルリポジトリにホストされている事前学習モデルのmodel idを表す文字列、またはsave_pretrainedを使用して保存されたモデルの重みを含むディレクトリへのパス。from_pretrainedで読み込まれます。
- PreTrainedModelオブジェクトです。パディングなしの学習のために、そのアテンション実装はトレーナーのFlashAttentionバックエンドに切り替えられます。
configのモデル名は、vLLMサーバー上で学生モデルを識別するために使用されます。
- args (experimental.async_distillation.AsyncDistillationConfig、任意) —
このトレーナーの設定です。
Noneの場合、デフォルトの設定が使用されます。 - train_dataset (Dataset または IterableDataset) —
学習に使用する Dataset。
"prompt"列 (conversational 形式) を含める必要があります。その他の追加列は無視されます。 - processing_class (PreTrainedTokenizerBase、任意) —
データを処理するために使用される処理クラスです。
Noneの場合、モデル名から from_pretrained を使用して読み込まれます。パディングトークンがない場合、tokenizer.eos_tokenが使用されます。 - callbacks (TrainerCallback のリスト、任意) — トレーニングループをカスタマイズするためのコールバックのリストです。デフォルトのコールバックに追加されます(こちらを参照)。
- optimizers (
tuple[torch.optim.Optimizer | None, torch.optim.lr_scheduler.LambdaLR | None]、任意、デフォルトは(None, None)) — 使用するオプティマイザーとスケジューラーを含むタプルです。デフォルトではAdamWと、argsによって制御される線形スケジュールが使用されます。 - peft_config (PeftConfig、任意) —
モデルをラップするために使用される PEFT 設定です。
Noneの場合、モデルはラップされません。生徒の vLLM サーバーが--enable-loraを指定して起動された場合、LoRA アダプターはマージされた重みとしてではなく、アダプターとして同期されます。詳細は、AsyncDistillation ドキュメントの LoRA セクションを参照してください。
DistillationTrainerの非同期版であり、AsyncGRPOTrainerと全く同じアーキテクチャを採用しています。バックグラウンドのロールアウトワーカーが、学生モデルのオンポリシーな補完を生成し、教師サーバーに対してスコアを付与します。この間、学習は並行して進行し、ロールアウトと勾配更新ループが分離されます。GRPOのクリップ付きポリシー勾配損失がグループ相対アドバンテージを読み込むのに対し、このトレーナーのcompute_lossは、位置ごとのスパースな教師分布を読み込み、それに対して汎化JSDを最小化します(AsyncDistillationConfig.betaを参照)。常にオンポリシーであり、学生モデルは学習に使用するすべての補完を自ら生成します。
同期的なDistillationTrainerとは異なり、このトレーナーは、HTTP経由で提供される教師モデル(外部のvLLMサーバー)とのスコアリングのみをサポートします。ローカル(プロセス内、GPU)での教師モデルのフォワードパスは、GRPOの報酬関数とは異なり、CUDAが無効化されたロールアウトワーカーの生成された子プロセス内で実行できず、代わりにメインの学習プロセスで実行する必要があります。このパスはまだ実装されていません。
例:
>>> from trl.experimental.async_distillation import AsyncDistillationTrainer
>>> from datasets import load_dataset
>>> dataset = load_dataset("trl-lib/DeepMath-103K", split="train")
>>> trainer = AsyncDistillationTrainer(
... model="Qwen/Qwen2.5-0.5B-Instruct",
... train_dataset=dataset,
... )
>>> trainer.train()