# A2PO

[![model badge](https://img.shields.io/badge/All_models-A2PO-blue)](https://huggingface.co/models?other=a2po,trl)

TRLは、Kianté Brantley、Mingyu Chen、Zhaolin Gao、Jason D. Lee、Wen Sun、Wenhao Zhan、およびXuezhou Zhangによる論文[Accelerating RL for LLM Reasoning with Optimal Advantage Regression](https://huggingface.co/papers/2505.20686)に記載されているA\*-PO（Optimal Advantage Regression）をサポートしています。

論文の要旨は以下の通りです:

> 強化学習（RL）は、複雑な推論能力を向上させるために大規模言語モデル（LLM）をファインチューニングする強力なツールとして台頭しています。しかし、最先端のポリシー最適化手法は、プロンプトごとの複数回の生成が必要であることや、現在のポリシーのクリティクネットワークやアドバンテージ推定に依存していることにより、主に高い計算オーバーヘッドとメモリ消費量に苦しんでいます。本論文では、A\*-POという、最適なアドバンテージ関数を直接近似し、推論タスクにおけるLLMの効率的な学習を可能にする、新しい2段階のポリシー最適化フレームワークを提案します。第1段階では、参照ポリシーからのオフラインサンプリングを利用して最適な価値関数V\*を推定し、コストのかかるオンラインの価値推定の必要性を排除します。第2段階では、プロンプトごとに1回の生成のみで、単純な最小二乗回帰損失を用いてオンポリシー更新を実行します。理論的には、パフォーマンスの保証を確立し、複雑な探索戦略を必要とせずにKL正則化されたRLの目的関数を最適化できることを証明します。実証的に、A\*-POは、PPO、GRPO、REBELと比較して、トレーニング時間を最大2倍、ピークメモリ使用量を30%以上削減しながら、幅広い数学的推論ベンチマークで競争力のあるパフォーマンスを達成します。

## 使用方法

A\*-POは、**二値で検証可能な報酬**（`r ∈ {0, 1}`）を前提とし、2段階で実行されます：

1. **オフラインの価値推定。** 学習の前に、すべてのプロンプトに対して参照ポリシーから`num_value_samples`個の補完がサンプリングされ、`reward_funcs`でスコアリングされます。最適な価値`V*(x) = β₁·log(mean_i exp(r(x, yᵢ)/β₁))`が推定され、プロンプトごとにキャッシュされます。
2. **オンポリシー回帰。** 学習中、現在のポリシーからプロンプトごとに1つの補完が生成されます。損失は、暗黙の報酬 `β₂·log(π(y|x)/π_ref(y|x))` と最適アドバンテージ `r(x, y) − V*(x)` の間の二乗誤差です。

```python
from trl.experimental.a2po import A2POConfig, A2POTrainer

# A*-PO assumes a binary, verifiable reward in {0, 1}.
def reward_correct(completions, ground_truth, **kwargs):
    return [float(completion.strip() == truth) for completion, truth in zip(completions, ground_truth)]

training_args = A2POConfig(
    output_dir="Qwen2.5-0.5B-A2PO",
    num_value_samples=8,  # Stage 1: samples per prompt from the reference policy to estimate V*
    beta1=0.5,  # Stage 1: KL temperature for the V* estimate
    beta2=1e-3,  # Stage 2: KL temperature for the regression target
)
trainer = A2POTrainer(
    model="Qwen/Qwen2.5-0.5B",
    reward_funcs=reward_correct,
    args=training_args,
    train_dataset=...,
)
trainer.train()
```

`V*` は参照ポリシーのサンプルから完全に推定されるため、A\*-PO は参照ポリシーの Pass@K を超えることはできません。公式実装は [ZhaolinGao/A-PO](https://github.com/ZhaolinGao/A-PO) で確認できます。

## A2POTrainer[[trl.experimental.a2po.A2POTrainer]]

#### trl.experimental.a2po.A2POTrainer[[trl.experimental.a2po.A2POTrainer]]

```python
trl.experimental.a2po.A2POTrainer(model: transformers.modeling_utils.PreTrainedModel | str, reward_funcs: collections.abc.Callable[..., list[float]] | list[collections.abc.Callable[..., list[float]]], args: trl.experimental.a2po.a2po_config.A2POConfig | None = None, train_dataset = None, eval_dataset = None, processing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | None = None, callbacks = None, optimizers = (None, None))
```

[ソース](https://github.com/huggingface/trl/blob/v1.18.1/trl/experimental/a2po/a2po_trainer.py#L48)

**パラメータ:**

model (`PreTrainedModel` または `str`) : 学習対象のモデル、または [from_pretrained](https://huggingface.co/docs/transformers/v5.23.0/en/model_doc/auto#transformers.AutoModelForCausalLM.from_pretrained) に渡すモデル識別子（文字列）。

reward_funcs (`Callable` または `list[Callable]`) : 報酬関数です。各関数は `prompts` と `completions`（およびデータセットの列をキーワード引数として）を受け取り、浮動小数点数の報酬のリストを返します。複数の関数が指定された場合、それらの加重和（`A2POConfig.reward_weights` を参照）がスカラー報酬 `r` となり、A*-PO はこれが二値（`{0, 1}` の範囲）であると仮定します。

args ([experimental.a2po.A2POConfig](/docs/trl/v1.18.1/ja/a2po_trainer#trl.experimental.a2po.A2POConfig)、*任意*) : このトレーナーの設定です。`None`の場合、デフォルトの設定が使用されます。

train_dataset ([Dataset](https://huggingface.co/docs/datasets/v5.2.0/en/package_reference/main_classes#datasets.Dataset)、*任意*) : 学習用データセット。`"prompt"`カラムを含む必要があります。

eval_dataset ([Dataset](https://huggingface.co/docs/datasets/v5.2.0/en/package_reference/main_classes#datasets.Dataset), *任意*) : 評価用データセット。

processing_class ([PreTrainedTokenizerBase](https://huggingface.co/docs/transformers/v5.23.0/en/internal/tokenization_utils#transformers.PreTrainedTokenizerBase)、*optional*) : データを処理するために使用される処理クラス。`None`の場合、[from_pretrained](https://huggingface.co/docs/transformers/v5.23.0/en/model_doc/auto#transformers.AutoTokenizer.from_pretrained)を使用してモデル名から読み込まれます。

callbacks (`list[~transformers.TrainerCallback]`, *任意*) : 学習ループをカスタマイズするためのコールバックのリスト。

optimizers (`tuple[~torch.optim.Optimizer, ~torch.optim.lr_scheduler.LambdaLR]`、*optional*、デフォルトは`(None, None)`) : オプティマイザーと学習率スケジューラーを含むタプル。

[Accelerating RL for LLM Reasoning with Optimal Advantage Regression](https://huggingface.co/papers/2505.20686) で紹介された A*-PO (Optimal Advantage Regression) 手法用の Trainer です。

A*-POは2段階で実行されます:

1. **オフラインの価値推定。** 学習開始前に、すべての学習プロンプトに対して参照ポリシーから`num_value_samples`個の補完がサンプリングされ、`reward_funcs`でスコアリングされます。最適な価値は`V*(x) = beta1 * log(mean_i exp(r(x, y_i) / beta1))`として推定され、プロンプトごとにキャッシュされます。
2. **オンポリシー回帰。** 学習中、現在のポリシーからプロンプトごとに1つの補完が生成されます。損失は、暗黙の報酬 `beta2 * log(pi(y|x) / pi_ref(y|x))` と最適なアドバンテージ推定値 `r(x, y) - V*(x)` の間の二乗誤差です。

#### train[[trl.experimental.a2po.A2POTrainer.train]]

```python
train(*args, **kwargs)
```

[ソース](https://github.com/huggingface/trl/blob/v1.18.1/trl/experimental/a2po/a2po_trainer.py#L371)

#### save_model[[trl.experimental.a2po.A2POTrainer.save_model]]

```python
save_model(output_dir: str | None = None, _internal_call: bool = False)
```

[ソース](https://github.com/huggingface/trl/blob/v1.18.1/transformers/trainer.py#L4077)

モデルを保存するため、`from_pretrained()`を使用して再読み込みできます。

メインプロセスからのみ保存します。

#### push_to_hub[[trl.experimental.a2po.A2POTrainer.push_to_hub]]

```python
push_to_hub(commit_message: str | None = 'End of training', blocking: bool = True, token: str | None = None, revision: str | None = None, private: bool | None = None, **kwargs)
```

[ソース](https://github.com/huggingface/trl/blob/v1.18.1/transformers/trainer.py#L4337)

**パラメータ:**

commit_message (`str`、*任意*、デフォルトは`"End of training"`) : push 時にコミットするメッセージ。

blocking (`bool`、*任意*、デフォルトは`True`) : `git push`が完了した後にのみ関数が返すかどうか。

token (`str`、*任意*、デフォルトは`None`) : Trainer の元の引数を上書きするための、書き込み権限を持つトークン。

revision (`str`, *任意*) : コミット元の git リビジョンです。デフォルトでは "main" ブランチの先頭です。

private (`bool`, *任意*) : リポジトリの作成時にプライベートにするかどうか。デフォルトは `args.hub_private_repo` です。リポジトリが既に存在する場合は、この設定は適用されません。

kwargs (`dict[str, Any]`、*省略可能*) : `~Trainer.create_model_card` に渡される追加のキーワード引数。

**戻り値:**

`blocking=False`の場合、モデルがプッシュされたリポジトリのURL、または`blocking=True`の場合、コミットの進捗を追跡する`Future`オブジェクトを返します。

`self.args.hub_model_id` のリポジトリに、`self.model` と `self.processing_class` を 🤗 model hub にアップロードします。

## A2POConfig[[trl.experimental.a2po.A2POConfig]]

#### trl.experimental.a2po.A2POConfig[[trl.experimental.a2po.A2POConfig]]

```python
trl.experimental.a2po.A2POConfig(output_dir: str | None = None, per_device_train_batch_size: int = 8, num_train_epochs: float = 3.0, max_steps: int = -1, learning_rate: float = 5e-05, lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear', lr_scheduler_kwargs: dict | str | None = None, warmup_steps: float = 0, optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused', optim_args: str | None = None, weight_decay: float = 0.0, adam_beta1: float = 0.9, adam_beta2: float = 0.999, adam_epsilon: float = 1e-08, optim_target_modules: None | str | list[str] = None, gradient_accumulation_steps: int = 1, average_tokens_across_devices: bool = True, max_grad_norm: float = 1.0, label_smoothing_factor: float = 0.0, bf16: bool | None = None, fp16: bool = False, bf16_full_eval: bool = False, fp16_full_eval: bool = False, tf32: bool | None = None, activation_checkpointing: bool | None = None, activation_checkpointing_kwargs: dict[str, typing.Any] | str | None = None, gradient_checkpointing: bool | None = None, gradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = None, torch_compile: bool = False, torch_compile_backend: str | None = None, torch_compile_mode: str | None = None, use_liger_kernel: bool = False, liger_kernel_config: dict[str, bool] | None = None, use_cache: bool = False, neftune_noise_alpha: float | None = None, torch_empty_cache_steps: int | None = None, auto_find_batch_size: bool = False, logging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps', logging_steps: float = 10, logging_first_step: bool = False, log_on_each_node: bool = True, logging_nan_inf_filter: bool = True, include_num_input_tokens_seen: str | bool = 'no', log_level: str = 'passive', log_level_replica: str = 'warning', disable_tqdm: bool | None = None, report_to: None | str | list[str] = 'none', run_name: str | None = None, project: str = 'huggingface', trackio_space_id: str | None = None, trackio_bucket_id: str | None = None, trackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = None, eval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no', eval_steps: float | None = None, eval_delay: float = 0, per_device_eval_batch_size: int = 8, prediction_loss_only: bool = False, eval_on_start: bool = False, eval_do_concat_batches: bool = True, eval_use_gather_object: bool = False, eval_accumulation_steps: int | None = None, include_for_metrics: list[str] = <factory>, batch_eval_metrics: bool = False, save_only_model: bool = False, save_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps', save_steps: float = 500, save_on_each_node: bool = False, save_total_limit: int | None = None, enable_jit_checkpoint: bool = False, push_to_hub: bool = False, hub_token: str | None = None, hub_private_repo: bool | None = None, hub_model_id: str | None = None, hub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save', hub_always_push: bool = False, hub_revision: str | None = None, load_best_model_at_end: bool = False, metric_for_best_model: str | None = None, greater_is_better: bool | None = None, ignore_data_skip: bool = False, restore_callback_states_from_checkpoint: bool = False, full_determinism: bool = False, seed: int = 42, data_seed: int | None = None, use_cpu: bool = False, accelerator_config: dict | str | None = None, parallelism_config: accelerate.parallelism_config.ParallelismConfig | None = None, dataloader_drop_last: bool = False, dataloader_num_workers: int = 0, dataloader_pin_memory: bool = True, dataloader_persistent_workers: bool = False, dataloader_prefetch_factor: int | None = None, dataloader_multiprocessing_context: str | None = None, dataloader_in_order: bool = True, remove_unused_columns: bool = False, label_names: list[str] | None = None, train_sampling_strategy: str = 'random', length_column_name: str = 'length', ddp_find_unused_parameters: bool | None = None, ddp_bucket_cap_mb: int | None = None, ddp_broadcast_buffers: bool | None = None, ddp_static_graph: bool | None = None, ddp_backend: str | None = None, ddp_timeout: int = 1800, fsdp: str | None = None, fsdp_config: dict[str, typing.Any] | str | None = None, deepspeed: dict | str | None = None, debug: str | list[transformers.debug_utils.DebugOption] = '', skip_memory_metrics: bool = True, do_train: bool = False, do_eval: bool = False, do_predict: bool = False, resume_from_checkpoint: str | None = None, local_rank: int = -1, model_init_kwargs: dict | None = None, trust_remote_code: bool = False, max_prompt_length: int | None = 512, max_completion_length: int | None = 256, temperature: float = 1.0, top_p: float = 1.0, top_k: int | None = None, num_value_samples: int = 8, beta1: float = 0.5, filter_all_incorrect: bool = True, beta2: float = 0.001, reward_weights: list[float] | None = None)
```

[ソース](https://github.com/huggingface/trl/blob/v1.18.1/trl/experimental/a2po/a2po_config.py#L21)

**モデルと参照モデルを制御するパラメータ:**

model_init_kwargs (`dict[str, Any]`、*省略可*) : [experimental.a2po.A2POTrainer](/docs/trl/v1.18.1/ja/a2po_trainer#trl.experimental.a2po.A2POTrainer) の `model` 引数が文字列として指定された場合に、[from_pretrained](https://huggingface.co/docs/transformers/v5.23.0/en/model_doc/auto#transformers.AutoModelForCausalLM.from_pretrained) に渡すキーワード引数です。`revision` の値は、処理クラスの読み込み時にも使用されます。

trust_remote_code (`bool`、*任意*、デフォルトは`False`) : カスタムのPythonコードを同梱したモデルやトークナイザーの読み込みを許可するかどうか。[from_pretrained](https://huggingface.co/docs/transformers/v5.23.0/en/model_doc/auto#transformers.AutoModelForCausalLM.from_pretrained)および[from_pretrained](https://huggingface.co/docs/transformers/v5.23.0/en/model_doc/auto#transformers.AutoTokenizer.from_pretrained)に転送されます。

**データ前処理を制御するパラメータ:**

remove_unused_columns (`bool`、*任意*、デフォルトは`False`) : データセットから`"prompt"`カラムのみを残すかどうかを指定します。`"prompts"`および`"completions"`以外のカラムを必要とするカスタム報酬関数を使用する場合は、この値を`False`に保つ必要があります。

**生成を制御するパラメータ:**

max_prompt_length (`int` または `None`、*任意*、デフォルトは `512`) : プロンプトの最大長です。プロンプトがこの長さを超える場合、左側から切り詰められます。

max_completion_length (`int` または `None`、*任意*、デフォルトは `256`) : 生成される補完の最大長。

temperature (`float`、*任意*、デフォルトは`1.0`) : Stage 1 と Stage 2 の両方の生成で使用するサンプリング温度。

top_p (`float`、*optional*、デフォルトは`1.0`) : 考慮する上位トークンの累積確率を制御する浮動小数点数です。値は(0, 1]の範囲でなければなりません。すべてのトークンを考慮するには`1.0`に設定してください。

top_k (`int` または `None`、*任意*) : 保持する最高確率の語彙トークンの数。`None` の場合、トップkフィルタリングは無効になります。

**Stage 1（オフライン最適値推定）を制御するパラメータ：**

num_value_samples (`int`、*任意*、デフォルトは`8`) : `V*`を推定するために、プロンプトごとに参照ポリシーからサンプリングするサンプル数。

beta1 (`float`、*任意*、デフォルトは`0.5`) : Stage 1で`V*`を推定するために使用されるKL温度です。

filter_all_incorrect (`bool`、*任意*、デフォルトは`True`) : 参照サンプルがすべて正しくないプロンプトを除外するかどうか。

**Stage 2（オンポリシー回帰）を制御するパラメータ:**

beta2 (`float`、*任意*、デフォルトは`1e-3`) : Stage 2 の回帰ターゲットで使用する KL 温度です。

reward_weights (`list[float]`, *optional*) : 各報酬関数に対する重み。報酬関数の数と一致する必要があります。`None`の場合、すべての報酬が重み`1.0`で等しく重み付けされます。

[experimental.a2po.A2POTrainer](/docs/trl/v1.18.1/ja/a2po_trainer#trl.experimental.a2po.A2POTrainer)用の設定クラスです。

このクラスには、A2POの学習に固有のパラメータのみが含まれています。学習引数の完全なリストについては、[TrainingArguments](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/trainer#transformers.TrainingArguments)のドキュメントを参照してください。なお、このクラス内のデフォルト値は、[TrainingArguments](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/trainer#transformers.TrainingArguments)のものと異なる場合があります。

