TRL documentation

在线 DPO 训练器

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

在线 DPO 训练器

model badge

概述

Online DPO 由 Shangmin Guo、Biao Zhang、Tianlin Liu、Tianqi Liu、Misha Khalman、Felipe Llinares、Alexandre Rame、Thomas Mesnard、Yao Zhao、Bilal Piot、Johan Ferret 和 Mathieu Blondel 在 Direct Language Model Alignment from Online AI Feedback 中提出。

该论文的摘要如下:

直接偏好对齐(DAP)方法(例如 DPO)最近作为强化学习人类反馈(RLHF)的高效替代方案而兴起,它们无需单独的奖励模型。然而,DAP 方法中使用的偏好数据集通常在训练前收集且从不更新,因此反馈完全是离线的。此外,这些数据集中的响应通常是从与正在对齐的模型不同的语言模型中采样的,并且由于模型在训练过程中会不断演化,对齐阶段不可避免地是离策略的。在本研究中,我们提出在线反馈是关键,并能改进 DAP 方法。我们的方法,在线 AI 反馈(OAIF),使用 LLM 作为标注器:在每次训练迭代中,我们从当前模型中采样两个响应,并提示 LLM 标注器选择哪一个更受偏好,从而提供在线反馈。尽管其简单,我们通过多项任务中的人工评估证明,OAIF 优于离线 DAP 和 RLHF 方法。我们进一步表明,OAIF 中利用的反馈是易于控制的,通过对 LLM 标注器的指令提示来实现。

此训练后方法由 Michael Noukhovitch、Shengyi Costa Huang、Quentin Gallouédec 和 Edward Beeching 贡献。

快速入门

本示例演示了如何使用在线 DPO 方法训练模型。我们使用 Qwen 0.5B 模型 作为基础模型,并使用 trl-lib/Qwen2-0.5B-Reward 奖励模型。我们使用来自 UltraFeedback 数据集 的提示词。您可以在这里查看数据集中的提示词:

以下是用于训练模型的脚本:

# train_online_dpo.py
from datasets import load_dataset
from trl.experimental.online_dpo import OnlineDPOConfig, OnlineDPOTrainer
from transformers import AutoModelForCausalLM, AutoModelForSequenceClassification, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2-0.5B-Instruct")
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2-0.5B-Instruct")
reward_model = AutoModelForSequenceClassification.from_pretrained("trl-lib/Qwen2-0.5B-Reward", num_labels=1)
train_dataset = load_dataset("trl-lib/ultrafeedback-prompt", split="train")

training_args = OnlineDPOConfig(output_dir="Qwen2-0.5B-OnlineDPO")
trainer = OnlineDPOTrainer(
    model=model, reward_funcs=reward_model, args=training_args, processing_class=tokenizer, train_dataset=train_dataset
)
trainer.train()

使用以下命令执行该脚本:

torchrun --nproc_per_node 8 train_online_dpo.py

在 8 个 GPU 上分布式训练,大约需要 1 小时。你可以通过查看奖励曲线来验证训练进度。被拒绝和选中的补全的奖励均呈上升趋势,表明模型正在改进,并随时间推移生成更好的响应。

要查看训练后的模型的表现,您可以使用Transformers Chat CLI。

$ transformers chat trl-lib/Qwen2-0.5B-OnlineDPO
<quentin_gallouedec>:
What is the best programming language?

<trl-lib/Qwen2-0.5B-OnlineDPO>:
The best programming language depends on your specific needs and priorities. Some people prefer imperative programming languages (like Haskell or Lisp), while others prefer functional programming languages (like Scala or Python). It's important to consider your work style, programming environment, and project requirements when choosing a programming language.

预期的数据集类型

在线 DPO 仅需要一个 仅包含提示词的数据集(与离线 DPO 不同,后者需要一个 偏好数据集)。experimental.online_dpo.OnlineDPOTrainer 同时支持 对话式 和 标准 数据集格式。当提供对话式数据集时,训练器会自动将聊天模板应用于该数据集。

使用技巧

鼓励生成 EOS 标记

在使用奖励模型时,我们可能希望模型在给定长度内生成补全内容。在训练过程中,模型将生成补全内容,直到达到 experimental.online_dpo.OnlineDPOConfig 中 max_new_tokens 参数指定的最大长度。如果您希望惩罚模型在达到最大长度前未生成 EOS 标记的行为,可以使用 experimental.online_dpo.OnlineDPOConfig 中的 missing_eos_penalty 参数:

training_args = OnlineDPOConfig(..., max_new_tokens=128, missing_eos_penalty=1.0)

记录补全

为了更好地理解模型在训练期间的行为,你可以使用 LogCompletionsCallback 定期记录样本补全。

trainer = OnlineDPOTrainer(..., eval_dataset=eval_dataset)
completions_callback = LogCompletionsCallback(trainer, num_prompts=8)
trainer.add_callback(completions_callback)

此回调会将模型生成的补全内容直接记录到 Weights & Biases 中。

Logged Completions

记录的指标

在训练和评估过程中,我们会记录以下指标。以下是一个在 Weights and Biases 上跟踪的运行示例

  • objective/kl:当前模型与参考模型之间的平均 Kullback-Leibler (KL) 散度。
  • objective/entropy:模型的平均熵,表示模型所选择动作的随机性。
  • objective/non_score_reward:来自非分数相关来源的平均奖励,基本上为 beta * kl.sum(1),其中 beta 是 KL 惩罚系数,kl 是每个 token 的 KL 散度。
  • objective/rlhf_reward:平均 RLHF 奖励,即 scores - non_score_reward。rlhf_reward 是在线 DPO 训练的最终目标。如果训练按预期进行,该指标应持续上升。
  • objective/scores:奖励模型返回的平均分数。
  • objective/scores_margin:根据外部奖励模型,所选完成项与被拒绝完成项之间的平均分数差值。
  • rewards/chosen:所选补全的平均奖励(根据在线 DPO 的隐式奖励模型)。
  • rewards/rejected:被拒绝的补全的平均奖励(根据在线 DPO 的隐式奖励模型)。
  • rewards/accuracies:在线 DPO 隐式奖励模型的准确率。
  • rewards/margins:根据在线 DPO 的隐式奖励模型,所选完成与拒绝完成之间的平均奖励差值。
  • logps/chosen:所选补全的平均对数概率。
  • logps/rejected:被拒绝的补全的平均对数概率。
  • val/contain_eos_token:包含 EOS token 的补全比例。
  • beta:控制表示与参考模型偏差的损失项权重的参数。通常固定不变,但可以通过向 experimental.online_dpo.OnlineDPOConfig 传递列表使其动态变化。

基准实验

为了验证在线 DPO 实现是否有效,我们在单个 8 x H100 节点上,使用 Pythia 1B、2.8B 和 6.9B 模型进行了实验。以下是我们运行实验时使用的命令,基于当时存在的在线 DPO 示例脚本(examples/scripts/online_dpo.py,该脚本现已移除)——若要复现这些实验,请从 v1.10.0 检出运行(git checkout v1.10.0)。我们直接采用 The N+ Implementation Details of RLHF with PPO: A Case Study on TL;DR Summarization 中的 SFT / RM 模型。

# 1B Online DPO experiment
accelerate launch --config_file examples/accelerate_configs/multi_gpu.yaml \
    examples/scripts/online_dpo.py \
    --model_name_or_path trl-lib/pythia-1b-deduped-tldr-sft  \
    --reward_model_path trl-lib/pythia-1b-deduped-tldr-rm \
    --dataset_name trl-lib/tldr \
    --learning_rate 5.0e-7 \
    --output_dir pythia-1b-deduped-tldr-online-dpo \
    --beta 0.1 \
    --per_device_train_batch_size 8 \
    --gradient_accumulation_steps 2 \
    --num_train_epochs 3 \
    --max_new_tokens 53 \
    --warmup_steps 0.1 \
    --missing_eos_penalty 1.0 \
    --save_steps 0.1 \
    --push_to_hub

# 2.8B Online DPO experiment
accelerate launch --config_file examples/accelerate_configs/deepspeed_zero2.yaml \
    examples/scripts/online_dpo.py \
    --model_name_or_path trl-lib/pythia-2.8b-deduped-tldr-sft  \
    --reward_model_path trl-lib/pythia-2.8b-deduped-tldr-rm \
    --dataset_name trl-lib/tldr \
    --learning_rate 5.0e-7 \
    --output_dir pythia-2.8b-deduped-tldr-online-dpo \
    --beta 0.1 \
    --per_device_train_batch_size 8 \
    --gradient_accumulation_steps 2 \
    --num_train_epochs 3 \
    --max_new_tokens 53 \
    --warmup_steps 0.1 \
    --missing_eos_penalty 1.0 \
    --save_steps 0.1 \
    --push_to_hub

# 6.9B Online DPO experiment
accelerate launch --config_file examples/accelerate_configs/deepspeed_zero2.yaml \
    examples/scripts/online_dpo.py \
    --model_name_or_path trl-lib/pythia-6.9b-deduped-tldr-sft  \
    --reward_model_path trl-lib/pythia-6.9b-deduped-tldr-rm \
    --dataset_name trl-lib/tldr \
    --learning_rate 5.0e-7 \
    --output_dir pythia-6.9b-deduped-tldr-online-dpo \
    --beta 0.1 \
    --per_device_train_batch_size 4 \
    --gradient_accumulation_steps 4 \
    --num_train_epochs 3 \
    --max_new_tokens 53 \
    --warmup_steps 0.1 \
    --missing_eos_penalty 1.0 \
    --save_steps 0.1 \
    --push_to_hub

该实验在此 🐝 W&B 报告 中进行了跟踪。

随着模型规模的扩大,在线 DPO 检查点的胜率逐渐提高。这是一个良好的迹象,表明在线 DPO 的实现符合预期。

OnlineDPOTrainer

类 trl.experimental.online_dpo.OnlineDPOTrainer

< >

( model: typing.Union[transformers.modeling_utils.PreTrainedModel, torch.nn.Module, str]ref_model: typing.Union[transformers.modeling_utils.PreTrainedModel, torch.nn.Module, NoneType] = Nonereward_funcs: str | transformers.modeling_utils.PreTrainedModel | collections.abc.Callable[..., list[float | None]] | list[str | transformers.modeling_utils.PreTrainedModel | collections.abc.Callable[..., list[float | None]]] | None = Noneargs: trl.experimental.online_dpo.online_dpo_config.OnlineDPOConfig | None = Nonedata_collator: collections.abc.Callable[[list[typing.Any]], dict[str, typing.Any]] | None = Nonetrain_dataset: typing.Union[datasets.arrow_dataset.Dataset, torch.utils.data.IterableDataset, NoneType] = Noneeval_dataset: typing.Union[datasets.arrow_dataset.Dataset, torch.utils.data.IterableDataset, dict[str, typing.Union[datasets.arrow_dataset.Dataset, torch.utils.data.IterableDataset]], NoneType] = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | transformers.processing_utils.ProcessorMixin | None = Nonereward_processing_classes: transformers.tokenization_utils_base.PreTrainedTokenizerBase | list[transformers.tokenization_utils_base.PreTrainedTokenizerBase] | None = Nonepeft_config: PeftConfig | None = Nonecompute_metrics: collections.abc.Callable[[transformers.trainer_utils.EvalPrediction], dict] | None = Nonecallbacks: list[transformers.trainer_callback.TrainerCallback] | None = Noneoptimizers: tuple[torch.optim.Optimizer, torch.optim.lr_scheduler.LambdaLR] = (None, None)preprocess_logits_for_metrics: collections.abc.Callable[[torch.Tensor, torch.Tensor], torch.Tensor] | None = None )

参数

  • model (str | nn.Module | PreTrainedModel) — 要训练的模型。可以是以下之一:
    • 一个字符串,作为托管在 huggingface.co 模型仓库中的预训练模型的 model id,或指向使用 save_pretrained 保存模型权重的 目录 的路径,例如 './my_model_directory/'。该模型使用 from_pretrained 加载,并传入 args.model_init_kwargs 中的关键字参数。
    • 一个 PreTrainedModel 对象。仅支持因果语言模型。
  • ref_model (PreTrainedModel 或 torch.nn.Module 或 None) — 用于训练的参考模型。如果指定为 None,则参考模型将从 model 创建。
  • reward_funcs (RewardFunc | list[RewardFunc]) — 用于计算奖励的奖励函数。要计算奖励,我们会使用提示和补全调用所有奖励函数,并将奖励求和。可以是以下形式之一:
    • 单个奖励函数:可以是字符串(模型路径)、PreTrainedModel,或自定义的可调用函数。
    • 奖励函数列表:所有函数的类型必须兼容。
  • args (experimental.online_dpo.OnlineDPOConfig) — 用于训练的在线 DPO 配置参数。
  • data_collator (DataCollator) — 用于训练的数据整理器。如果指定为 None,则使用默认的数据整理器(experimental.utils.DPODataCollatorWithPadding),该整理器会将序列填充到批次中序列的最大长度,适用于成对序列的数据集。
  • train_dataset (Dataset 或 IterableDataset) — 用于训练的 dataset。
  • eval_dataset (Dataset、IterableDataset 或 dict[str, Dataset | IterableDataset]) — 用于评估的数据集。
  • processing_class(PreTrainedTokenizerBase 或 ProcessorMixin,可选)— 用于处理数据的处理类。如果提供,将用于自动处理模型的输入,并随模型一起保存,以便更容易地重新运行中断的训练或复用微调后的模型。
  • reward_processing_classes (PreTrainedTokenizerBase 或 list[PreTrainedTokenizerBase], 可选) — 与在 reward_funcs. 中指定的奖励函数对应的处理类。可以是以下形式之一:
    • 单个处理类:当 reward_funcs 仅包含一个奖励函数时使用。
    • 处理类列表:必须与reward_funcs中奖励函数的顺序和长度相匹配。

    如果设置为 None,则每个基于模型的奖励函数的分词器将通过 from_pretrained 自动加载。

  • peft_config (PeftConfig,可选) — 用于包装模型的 PEFT 配置。如果为 None,则不包装模型。
  • compute_metrics (Callable[[EvalPrediction], dict], 可选) — 用于计算指标的函数。必须接受一个 EvalPrediction 并返回一个从字符串到指标值的字典。
  • callbacks (list[transformers.TrainerCallback]) — 训练时使用的回调。
  • optimizers (tuple[torch.optim.Optimizer, torch.optim.lr_scheduler.LambdaLR]) — 用于训练的优化器和调度器。
  • preprocess_logits_for_metrics (Callable[[torch.Tensor, torch.Tensor], torch.Tensor]) — 用于在计算指标之前对 logits 进行预处理的函数。

初始化 OnlineDPOTrainer。

训练

< >

( resume_from_checkpoint: str | bool | None = Nonetrial: optuna.Trial | dict[str, Any] | None = Noneignore_keys_for_eval: list[str] | None = None ) → ~trainer_utils.TrainOutput

参数

  • resume_from_checkpoint (str 或 bool,可选) — 如果为 str,则为之前 Trainer 实例保存的检查点的本地路径。如果为 bool 且等于 True,则加载之前 Trainer 实例保存在 args.output_dir 中的最后一个检查点。如果存在,训练将从此处加载的模型/优化器/调度器状态中恢复。
  • trial (optuna.Trial 或 dict[str, Any],可选) — 用于超参数搜索的试验运行或超参数字典。
  • ignore_keys_for_eval (list[str],可选) — 在训练期间收集预测结果以进行评估时,应忽略的模型输出(如果输出是字典)中的键列表。

返回值

~trainer_utils.TrainOutput

包含全局步数、训练损失和指标的 Object。

主要训练入口。

save_model

< >

( output_dir: str | None = None_internal_call: bool = False )

将保存模型,以便您可以使用 from_pretrained() 重新加载它。

仅从主进程保存。

push_to_hub

< >

( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )

参数

  • commit_message (str,可选,默认为 "End of training") — 推送时提交的提交信息。
  • blocking (bool,可选,默认为 True) — 是否仅在 git push 完成后才返回。
  • token (str,可选,默认为 None) — 具有写入权限的 Token,用于覆盖 Trainer 的原始参数。
  • revision (str, 可选) — 要从中提交内容的 git 版本。默认为 “main” 分支的头部。
  • private (bool,可选) — 创建仓库时是否将其设为私有。默认值为 args.hub_private_repo。如果仓库已存在,则此参数无效。
  • kwargs (dict[str, Any],可选) — 传递给 ~Trainer.create_model_card 的额外关键字参数。

将 self.model 和 self.processing_class 上传到 🤗 模型库中的仓库 self.args.hub_model_id。

OnlineDPOConfig

类 trl.experimental.online_dpo.OnlineDPOConfig

< >

( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 5e-07lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool | None = Nonegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 10logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Falserestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool = Falselabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1reward_model_path: str | None = Nonemax_new_tokens: int = 64max_length: int = 512temperature: float = 0.9top_p: float = 1.0top_k: int = 0min_p: float | None = Nonerepetition_penalty: float = 1.0generation_kwargs: dict | None = Nonecache_implementation: str | None = Nonemissing_eos_penalty: float | None = Nonebeta: list[float] = <factory>loss_type: str = 'sigmoid'disable_dropout: bool = Trueuse_vllm: bool = Falsevllm_model_impl: str = 'vllm'vllm_structured_outputs_regex: str | None = Nonevllm_gpu_memory_utilization: float | None = 0.55vllm_mode: str = 'colocate'vllm_server_base_url: str | None = Nonevllm_server_host: str = '0.0.0.0'vllm_server_port: int = 8000vllm_server_timeout: float = 240.0vllm_group_port: int = 51216vllm_tensor_parallel_size: int = 1vllm_enable_sleep_mode: bool = Falseds3_gather_for_generation: bool = Truemodel_init_kwargs: dict[str, typing.Any] | str | None = Nonetrust_remote_code: bool = Falsereward_weights: list[float] | None = None )

参数

  • reward_model_path (str, 可选) — 奖励模型的路径。
  • max_new_tokens (int,可选,默认为 64) — 每次补全生成的最大 token 数。
  • max_length (int,可选,默认为 512) — 用于计算对数概率的序列(提示 + 补全)的最大总长度。如果序列超过此限制,将从最左侧截断 token,以尽可能多地保留补全部分。当输入包含图像时,此参数不生效,因为截断会丢弃图像 token。
  • temperature (float,可选,默认为 0.9) — 用于采样的温度。温度越高,生成的补全内容越随机。
  • missing_eos_penalty (float, 可选) — 当模型未能生成 EOS 标记时,应用于分数的惩罚值。这有助于鼓励生成短于最大长度(max_new_tokens)的补全内容。该惩罚值必须为正数。
  • beta (float 或 list[float],可选,默认为 0.1) — 控制与参考模型偏差的参数。β 值越高,与参考模型的偏差越小。对于 IPO 损失(loss_type="ipo"),β 是论文中用 τ 表示的正则化参数。如果提供浮点数列表,则每个新 epoch 会选择一个 β,其余 epoch 使用最后一个 β。
  • loss_type (str, 可选, 默认为 "sigmoid") — 要使用的损失类型。可能的值包括:
    • "sigmoid":来自原始 DPO 论文的 sigmoid 损失。
    • "ipo":来自 IPO 论文的 IPO 损失。
  • disable_dropout (bool,可选,默认为 True) — 是否禁用模型和参考模型中的 dropout。

控制生成的参数

  • top_p (float,可选,默认为 1.0) — 用于控制所考虑的前几个 token 的累积概率的浮点数。取值必须在 (0, 1] 范围内。设置为 1.0 表示考虑所有 token。
  • top_k (int,可选,默认为 0) — 用于 top-k 过滤时保留的最高概率词汇表 token 数量。如果为 0,则禁用 top-k 过滤,并考虑所有 token。
  • min_p (float, 可选) — 最小 token 概率,该值会按最可能 token 的概率进行缩放。它必须是 0.0 和 1.0 之间的值。典型值在 0.01-0.2 范围内。
  • repetition_penalty (float,可选,默认为 1.0) — 一个浮点数,根据新 token 是否出现在提示词和迄今为止生成的文本中来对其进行惩罚。 值 > 1.0 会鼓励模型使用新的 token,而值 < 1.0 会鼓励模型重复使用 token。
  • cache_implementation (str, 可选) — 当 use_vllm 设置为 False 时,用于加速生成的缓存方法实现。
  • generation_kwargs (dict[str, Any], 可选) — 在采样补全时传递给 GenerationConfig(如果使用 transformers)或 SamplingParams(如果使用 vLLM)的额外关键字参数。可用于进一步自定义 生成行为,例如设置 suppress_tokens、num_beams 等。如果其中包含与其他生成参数(如 min_p、top_p 等)冲突的键,则会覆盖它们。

控制由 vLLM 驱动的生成加速的参数

  • use_vllm (bool,可选,默认为 False) — 是否使用 vLLM 来生成补全。如果设置为 True,训练器将使用 vLLM 进行生成,而不是默认的 model.generate()。需要安装 vllm。
  • vllm_model_impl (str,可选,默认为 "vllm") — 用于 vLLM 的模型实现。必须是 "transformers" 或 "vllm" 之一。"transformers":使用 transformers 后端作为模型实现。"vllm":使用 vllm 库作为模型实现。
  • vllm_mode (str, 可选, 默认为 "colocate") — 当 use_vllm 设置为 True. 时,用于 vLLM 集成的模式。必须是 "server" 或 "colocate".
    • "server":训练器将把生成请求发送到独立的 vLLM 服务器。请确保 vLLM 服务器正在运行(使用 vllm serve 启动)。
    • "colocate":vLLM 将在同一进程中运行,并共享用于训练的 GPU。这避免了部署独立服务器的需求,但可能会与训练过程产生资源争用。
  • vllm_structured_outputs_regex (str, 可选) — 用于 vLLM 结构化输出的正则表达式。如果为 None(默认值),则禁用结构化输出。

用于控制 vLLM 服务器的参数(仅在 `vllm_mode` 为 `"server"` 时使用)

  • vllm_server_base_url (str, 可选) — vLLM 服务器的基础 URL(例如 "http://localhost:8000")。如果提供了该参数,vllm_server_host 和 vllm_server_port 将被忽略。
  • vllm_server_host (str,可选,默认为 "0.0.0.0") — 要连接的 vLLM 服务器的主机地址。如果提供了 vllm_server_base_url,则忽略此参数。
  • vllm_server_port (int,可选,默认为 8000) — 要连接的 vLLM 服务器端口。如果提供了 vllm_server_base_url,则忽略此参数。
  • vllm_server_timeout (float, 可选, 默认值为 240.0) — 等待 vLLM 服务器启动的总超时时间(秒)。如果超时后服务器仍未启动,则会引发 ConnectionError。
  • vllm_group_port (int, 可选,默认为 51216) — 权重更新组的端口号。用于与 vLLM 服务器通信。除非端口被占用,否则无需更改。

控制共置 vLLM 执行的参数(仅在 `vllm_mode` 为 `"colocate"` 时使用)

  • vllm_gpu_memory_utilization (float,可选,默认值为 0.55) — 控制 vLLM 的 GPU 内存利用率。此设置仅在 vllm_mode 设置为 "colocate" 时生效。如果您使用的是 vllm_mode="server",则必须在通过 --vllm_gpu_memory_utilization 标志启动 vLLM 服务器时单独传递此参数。
  • vllm_tensor_parallel_size (int,可选,默认为 1) — 控制 vLLM 的张量并行大小。此设置仅在 vllm_mode 设置为 "colocate" 时生效。如果您使用的是 vllm_mode="server",则必须在通过 --vllm_tensor_parallel_size 标志启动 vLLM 服务器时单独传递此参数。
  • vllm_enable_sleep_mode (bool,可选,默认为 False) — 启用 vLLM 睡眠模式,以便在优化器步骤期间卸载权重/缓存。这可以保持较低的 GPU 内存占用,但唤醒引擎会增加主机与设备之间的传输延迟。

其他参数

  • ds3_gather_for_generation (bool,可选,默认为 True) — 此设置适用于 DeepSpeed ZeRO-3。如果启用,策略模型权重将在生成时进行聚合,从而提升生成速度。但是,禁用此选项允许训练超出单个 GPU 显存容量的模型,代价是生成速度变慢。禁用此选项与 vLLM 生成不兼容。
  • model_init_kwargs (dict[str, Any], 可选) — 从字符串实例化模型时传递给 AutoModelForCausalLM.from_pretrained 的关键字参数。revision 值在加载奖励处理类时也会使用。
  • trust_remote_code (bool,可选,默认为 False) — 是否允许加载从 Hub 获取的包含自定义 Python 代码的模型。该参数会传递给 from_pretrained。同样适用于奖励模型和奖励分词器的加载。
  • reward_weights (list[float], 可选) — 用于组合多个奖励函数的权重。必须与奖励函数的数量相匹配。如果为 None,则所有奖励函数的权重相等。

experimental.online_dpo.OnlineDPOTrainer 的配置类。

此类仅包含特定于在线 DPO 训练的参数。有关完整的训练参数列表,请参阅 TrainingArguments 文档。请注意,此类中的默认值可能与 TrainingArguments 中的不同。

使用 HfArgumentParser,我们可以将该类转换为 argparse 参数,从而在命令行中指定。

这些参数的默认值与 TrainingArguments 不同:

  • logging_steps:默认值为 10,而非 500。
  • gradient_checkpointing:默认值为 True,而非 False。
  • bf16:如果未设置 fp16,则默认值为 True,而不是 False。
  • learning_rate:默认值为 5e-7,而非 5e-5。
  • remove_unused_columns: 默认值为 False,而非 True。
Update on GitHub