TRL documentation
Тренер общей онлайн-логит-дистилляции (GOLD)
Тренер общей онлайн-логит-дистилляции (GOLD)
Обзор
General Online Logit Distillation (GOLD) — это расширение Universal Logit Distillation (ULD), поддерживающее пары «ученик/учитель» с различными токенизаторами. Метод выравнивает текстовые фрагменты, полученные обоими токенизаторами, и объединяет соответствующие логиты, чтобы ни один токен завершения не был потерян. Это позволяет осуществлять дистилляцию знаний между моделями с разными токенизаторами, включая смешанные семейства моделей (например, ученики LLaMA с учителями Qwen).
Ключевые возможности:
- Сопоставление токенизаторов – GOLD последовательно декодирует токены ученика и учителя, группирует фрагменты с одинаковым видимым текстом и объединяет вероятности внутри каждой группы. Это гарантирует, что члены функции потерь вычисляются для полного завершения, даже если границы токенов различаются.
- Гибкая функция потерь ULD – когда включён
uld_use_hybrid_loss, GOLD напрямую сравнивает точные совпадения в словаре и использует исходную функцию потерь ULD на основе отсортированных вероятностей для несовпавших токенов. Это повышает стабильность для учеников, чьи словари лишь частично пересекаются со словарём учителя. - Бесшовная интеграция с GKD – GOLD наследует планирование on-policy и off-policy из experimental.gkd.GKDTrainer, что позволяет комбинировать KD на уровне последовательностей, обобщённый JSD и дистилляцию между разными токенизаторами в одном прогоне обучения.
GOLD в настоящее время входит в пространство имён
trl.experimental. API могут измениться без предупреждения, пока функция дорабатывается.
Советы по использованию
Класс experimental.gold.GOLDTrainer наследуется от SFTTrainer и принимает те же наборы данных, что и другие тренера TRL (списки сообщений в стиле ChatML). Важные флаги конфигурации в experimental.gold.GOLDConfig включают:
use_uld_loss– включает Universal Logit Distillation. Установите значениеTrueдля конфигураций с разными токенизаторами.teacher_tokenizer_name_or_path– обязателен, еслиuse_uld_loss=True; GOLD использует токенизатор учителя для выравнивания токенов.uld_use_hybrid_loss,uld_hybrid_matched_weight,uld_hybrid_unmatched_weight– включает и задаёт веса для гибридной функции потерь для совпадающих/несовпадающих элементов.beta,lmbda,seq_kd– унаследованы из experimental.gkd.GKDConfig, управляют интерполяцией обобщённого JSD и долей on-policy выборки.use_privileged_context,teacher_prompt_template,privileged_context_column– позволяют учителю видеть дополнительный контекст для каждого примера, в то время как промпт студента остаётся неизменным. В настоящее время это ограничено обучением с текстом, off-policy и стандартным JSD.num_generations,generation_batch_size– управляют буферизованной генерацией rollout в пределах окон накопления градиентов.generation_batch_size– количество уникальных промптов на каждый worker за один шаг оптимизатора.
Минимальный пример «от и до»:
from datasets import load_dataset
from trl.experimental.gold import GOLDConfig, GOLDTrainer
train_dataset = load_dataset(
"HuggingFaceTB/OpenR1-Math-220k-default-verified",
"all",
split="train[:1024]",
)
trainer = GOLDTrainer(
model="meta-llama/Llama-3.2-1B-Instruct",
teacher_model="Qwen/Qwen2.5-0.5B-Instruct",
args=GOLDConfig(output_dir="gold-model", use_uld_loss=True, teacher_tokenizer_name_or_path="Qwen/Qwen2.5-0.5B-Instruct"),
train_dataset=train_dataset,
)
trainer.train()Для быстрых сценариев работы можно полагаться на строковые идентификаторы, как показано выше, — тренер загрузит модель и токенизатор за вас. Явное создание экземпляров AutoModelForCausalLM, AutoTokenizer или заполнение GOLDConfig рекомендуется только для продвинутых случаев, когда требуется тонкий контроль над инициализацией.
Более явный вариант настройки может выглядеть так, если вам нужно настроить загрузку модели, параметры токенизатора или аргументы обучения:
from datasets import load_dataset
from trl.experimental.gold import GOLDConfig, GOLDTrainer
from transformers import AutoModelForCausalLM, AutoTokenizer
student_name = "meta-llama/Llama-3.2-1B-Instruct"
teacher_name = "Qwen/Qwen2.5-0.5B-Instruct"
tokenizer = AutoTokenizer.from_pretrained(student_name)
if tokenizer.pad_token is None:
tokenizer.pad_token = tokenizer.eos_token
model = AutoModelForCausalLM.from_pretrained(student_name)
teacher_model = AutoModelForCausalLM.from_pretrained(teacher_name)
train_dataset = load_dataset(
"HuggingFaceTB/Countdown-Task-GOLD",
"verified_Qwen2.5-0.5B-Instruct",
split="train",
)
training_args = GOLDConfig(
output_dir="gold-model",
per_device_train_batch_size=1,
teacher_model_name_or_path=teacher_name,
teacher_tokenizer_name_or_path=teacher_name,
use_uld_loss=True,
uld_use_hybrid_loss=True,
)
trainer = GOLDTrainer(
model=model,
teacher_model=teacher_model,
args=training_args,
processing_class=tokenizer,
train_dataset=train_dataset,
)
trainer.train()GOLD буферизует один полный батч генерации для окна оптимизатора (
per_device_train_batch_size * gradient_accumulation_steps) и переиспользует его на шагах накопления градиентов. Если последний батч имеет неполный размер, GOLD выводит предупреждение и отбрасывает этот последний батч (Dropping last batch due to unexpected batch size). Чтобы избежать этого предупреждения, установитеdataloader_drop_last=True.
Ожидаемый тип набора данных
Для GOLD требуется диалоговый датасет для моделирования языка, например:
{"messages": [{"role": "user", "content": "What color is the sky?"},
{"role": "assistant", "content": "It is blue."}]}GOLDTrainer сохраняет исходные сообщения, чтобы коллаборатор ChatML мог формировать промпты и завершения с корректными границами.
Привилегированный контекст
Дистилляция с привилегированным контекстом предоставляет учителю дополнительную информацию, недоступную ученику во время инференса. Добавьте столбец контекста в обычный набор данных с промптами и завершениями, затем явно включите эту функцию:
from datasets import Dataset
dataset = Dataset.from_list(
[
{
"prompt": [{"role": "user", "content": "What caused the outage?"}],
"completion": [{"role": "assistant", "content": "A timeout change caused the outage."}],
"privileged_context": "The deployment changed the timeout immediately before errors began.",
}
]
)
args = GOLDConfig(
output_dir="gold-model",
lmbda=0.0,
use_privileged_context=True,
)Студент обучается на исходном промпте и завершении. По умолчанию учитель получает отдельный промпт, построенный по шаблону "{prompt}\n\n{privileged_context}", после чего оценивает то же самое завершение. Для диалоговых данных GOLD переписывает только последний ход пользователя перед повторным применением шаблона чата; ходы системы, инструментов и ассистента остаются неизменными. Чтобы настроить этот промпт, задайте teacher_prompt_template, а для использования столбца, отличного от "privileged_context", — privileged_context_column.
Промпт учителя никогда не усечается, поэтому убедитесь, что он помещается в контекстное окно модели учителя. Эта начальная поддержка намеренно ограничена текстом и стандартной off-policy дистилляцией JSD: lmbda должно быть 0, а seq_kd=True, use_uld_loss=True, X-Token KD (xtoken_loss_type отличное от "none"), packing, VLM и Liger Kernel не поддерживаются с привилегированным контекстом.
Как работает слияние токенов
Когда студент и учитель используют разные токенизаторы, один и тот же текст может быть разбит по-разному:
- Студент:
"Hugging Face"→ 1 токен - Учитель:
"Hugging"," Face"→ 2 токена
GOLD выравнивает эти последовательности и объединяет многозначные вероятности учителя в единственное распределение, которое можно сравнить с однозначным распределением ученика.
Слияние вероятностей
Для последовательности токенов учителя [token₀, token₁, ..., tokenₖ], соответствующей одному токену ученика, GOLD вычисляет:
P_merged(y) = P(y | context) × P(token₁ | token₀, context) × ... × P(tokenₖ | ..., context)где:
P(y | context)— это маргинальное распределение вероятностей по всем токенам словаря на первой позицииP(tokenᵢ | ..., context)— это скалярные условные вероятности фактически сгенерированных токенов
Ключевой вывод: в качестве скаляров извлекаются только условные вероятности токенов фактического продолжения. Затем полное маргинальное распределение на первой позиции масштабируется путём умножения на эти скалярные вероятности.
Это обеспечивает:
- Правильная совместная вероятность для фактически сгенерированной последовательности (по правилу цепочки)
- Разумное приближение для контрфактических токенов (масштабированное той же вероятностью продолжения)
- Ненормированные распределения, сохраняющие правильные относительные вероятности для вычисления потерь ULD
Пример
Дано:
P(x₀): ["HF": 0.6, "is": 0.3, "cool": 0.1]
P(x₁ | "HF"): ["HF": 0.05, "is": 0.9, "cool": 0.05]Если токены 0 и 1 объединены, а фактическая последовательность была ["HF", "is"]:
P_merged("HF") = 0.6 × 0.9 = 0.54 ✓ (correct joint probability)
P_merged("is") = 0.3 × 0.9 = 0.27
P_merged("cool") = 0.1 × 0.9 = 0.09Смешанное распределение не нормировано (сумма равна 0.81), но это сделано намеренно и является корректным для вычисления потерь ULD, которое использует сортировку и L1-расстояние.
Пример скрипта
Используйте examples/gold_chatbot_arena/gold_chatbot_arena.py для запуска обучения GOLD из командной строки. Скрипт поддерживает полное обучение и LoRA с помощью стандартных флагов ModelConfig.
python examples/gold_chatbot_arena/gold_chatbot_arena.py \
--model_name_or_path meta-llama/Llama-3.2-1B-Instruct \
--teacher_model_name_or_path Qwen/Qwen2-1.5B-Instruct \
--dataset_name trl-lib/chatbot_arena_completions \
--learning_rate 2e-5 \
--per_device_train_batch_size 4 \
--gradient_accumulation_steps 8 \
--output_dir gold-model \
--num_train_epochs 1 \
--push_to_hubОбучение моделей «зрение-язык»
experimental.gold.GOLDTrainer поддерживает дистилляцию VLM-to-VLM. И ученическая, и учительская модели должны быть моделями «зрение-язык». Для обучения VLM предоставьте датасет с колонкой image (одно изображение на образец) или колонкой images (список изображений на образец). Подробнее об ожидаемой структуре датасета см. в разделе Dataset Format — Vision datasets.
Если ученическая и учительская модели имеют одинаковую архитектуру и токенизатор (например, Qwen3-VL-8B и Qwen3-VL-2B), стандартная обобщённая функция потерь JSD применяется напрямую. Если у них разные значения model_type (например, Qwen3-VL и LFM2.5-VL), установите use_uld_loss=True, чтобы включить выравнивание между токенизаторами с помощью Universal Logit Distillation. Изображения обрабатываются отдельно через процессор каждой модели.
from datasets import load_dataset
import torch
from transformers import AutoModelForImageTextToText, AutoProcessor
from trl.experimental.gold import GOLDConfig, GOLDTrainer
student_name = "Qwen/Qwen3-VL-2B-Instruct"
teacher_name = "Qwen/Qwen3-VL-8B-Instruct"
processor = AutoProcessor.from_pretrained(student_name, padding_side="left")
student_model = AutoModelForImageTextToText.from_pretrained(student_name, dtype=torch.bfloat16)
teacher_model = AutoModelForImageTextToText.from_pretrained(teacher_name, dtype=torch.bfloat16)
train_dataset = load_dataset("trl-lib/llava-instruct-mix", split="train")
trainer = GOLDTrainer(
model=student_model,
teacher_model=teacher_model,
args=GOLDConfig(
output_dir="gold-vlm-model",
max_length=None,
teacher_model_name_or_path=teacher_name,
use_uld_loss=False,
),
train_dataset=train_dataset,
processing_class=processor,
)
trainer.train()Для дистилляции между семействами моделей установите use_uld_loss=True и teacher_tokenizer_name_or_path в имя модели-учителя.
Используйте examples/gold_qwen3_vl/gold_qwen3_vl.py для запуска обучения GOLD VLM из командной строки:
# Same-family distillation (JSD loss, vLLM enabled)
torchrun --nproc_per_node 8 examples/gold_qwen3_vl/gold_qwen3_vl.py \
--student_model_name Qwen/Qwen3-VL-2B-Instruct \
--teacher_model_name Qwen/Qwen3-VL-8B-Instruct
# Cross-family distillation (ULD loss, local generation)
torchrun --nproc_per_node 8 examples/gold_qwen3_vl/gold_qwen3_vl.py \
--student_model_name LiquidAI/LFM2.5-VL-1.6B \
--teacher_model_name Qwen/Qwen3-VL-8B-Instruct \
--use_uld_loss \
--no-use_vllmДля VLM
truncation_mode='keep_end'не поддерживается, поскольку токены изображений находятся в части последовательности, соответствующей промпту, и могут быть молча удалены. Используйтеtruncation_mode='keep_start'(значение по умолчанию) или установитеmax_length=Noneв experimental.gold.GOLDConfig. Это позволяет модели обрабатывать последовательность полной длины без усечения токенов изображений.GOLDConfig(max_length=None, ...)Используйте
max_lengthтолько после того, как вы убедитесь, что усечение не удалит токены изображений для всего набора данных.
Дистилляция VLM между архитектурами требует
use_uld_loss=True. Тренировщик вызовет ошибку, если вы попытаетесь выполнить дистилляцию между архитектурами без потери ULD.
GOLDTrainer
класс trl.experimental.gold.GOLDTrainer
< source >( model: typing.Union[transformers.modeling_utils.PreTrainedModel, torch.nn.Module, str, NoneType] = Noneteacher_model: typing.Union[transformers.modeling_utils.PreTrainedModel, torch.nn.Module, str] = Noneargs: trl.experimental.gold.gold_config.GOLDConfig | None = Nonedata_collator: collections.abc.Callable[[list[typing.Any]], dict[str, typing.Any]] | None = Nonetrain_dataset: datasets.arrow_dataset.Dataset | None = Noneeval_dataset: datasets.arrow_dataset.Dataset | dict[str, datasets.arrow_dataset.Dataset] | None = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | transformers.image_processing_utils.BaseImageProcessor | transformers.feature_extraction_utils.FeatureExtractionMixin | transformers.processing_utils.ProcessorMixin | None = Nonecompute_metrics: collections.abc.Callable[[transformers.trainer_utils.EvalPrediction], dict] | None = Nonecallbacks: list[transformers.trainer_callback.TrainerCallback] | None = Noneoptimizers: tuple[torch.optim.Optimizer, torch.optim.lr_scheduler.LambdaLR] = (None, None)preprocess_logits_for_metrics: collections.abc.Callable[[torch.Tensor, torch.Tensor], torch.Tensor] | None = Nonepeft_config: typing.Optional[ForwardRef('PeftConfig')] = None )
обучение
< source >( resume_from_checkpoint: str | bool | None = Nonetrial: optuna.Trial | dict[str, Any] | None = Noneignore_keys_for_eval: list[str] | None = None ) → ~trainer_utils.TrainOutput
Параметры
- resume_from_checkpoint (
strилиbool, необязательный) — Если передано значение типаstr, это локальный путь к сохранённой контрольной точке, созданной предыдущим экземпляромTrainer. Если передано значение типаboolи оно равноTrue, загружается последняя контрольная точка из args.output_dir, сохранённая предыдущим экземпляромTrainer. Если параметр указан, обучение возобновляется из состояний модели/оптимизатора/планировщика, загруженных из этой контрольной точки. - trial (
optuna.Trialилиdict[str, Any], необязательный) — Запуск испытания или словарь гиперпараметров для поиска гиперпараметров. - ignore_keys_for_eval (
list[str], необязательный) — Список ключей в выводе вашей модели (если он представляет собой словарь), которые следует игнорировать при сборе предсказаний для оценки во время обучения.
Возвращает
~trainer_utils.TrainOutput
Объект, содержащий количество глобальных шагов, потерю обучения и метрики.
Основная точка входа для обучения.
Сохранит модель, чтобы вы могли загрузить её снова с помощью from_pretrained().
Сохранение будет выполняться только из основного процесса.
push_to_hub
< source >( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )
Параметры
- commit_message (
str, необязательный, по умолчанию"End of training") — Сообщение для коммита при отправке. - blocking (
bool, необязательный, по умолчаниюTrue) — Определяет, должна ли функция возвращаться только после завершенияgit push. - token (
str, необязательный, по умолчаниюNone) — Токен с правом записи для перезаписи исходных аргументов Trainer. - revision (
str, необязательный) — Git-ревизия, от которой выполняется коммит. По умолчанию используется head ветки “main”. - private (
bool, необязательный) — Определяет, следует ли сделать репозиторий приватным при его создании. По умолчанию используется значениеargs.hub_private_repo. Не имеет эффекта, если репозиторий уже существует. - kwargs (
dict[str, Any], необязательный) — Дополнительные именованные аргументы, передаваемые в~Trainer.create_model_card.
Загрузите self.model и self.processing_class в модельный хаб 🤗 в репозиторий self.args.hub_model_id.
GOLDConfig
класс trl.experimental.gold.GOLDConfig
< source >( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 1e-07lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool | None = Nonegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 10logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Falserestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool = Truelabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1model_init_kwargs: dict[str, typing.Any] | str | None = Nonetrust_remote_code: bool = Falserouter_aux_loss_coef: float | None = Nonechat_template_path: str | None = Nonedataset_text_field: str = 'text'dataset_kwargs: dict[str, typing.Any] | str | None = Nonedataset_num_proc: int | None = Noneeos_token: str | None = Nonemax_length: int | None = 1024truncation_mode: str = 'keep_start'shuffle_dataset: bool = Falsepacking: bool = Falsepacking_strategy: str = 'bfd'padding_free: bool = Falsepad_to_multiple_of: int | str | None = 'auto'eval_packing: bool | None = Nonecompletion_only_loss: bool | None = Noneassistant_only_loss: bool = Falseloss_type: str = 'nll'activation_offloading: bool = Falsepad_token: str | None = Nonetemperature: float = 0.9top_p: float = 0.95top_k: int = 0lmbda: float = 0.5beta: float = 0.5max_completion_length: int = 128teacher_model_name_or_path: str | None = Noneteacher_model_revision: str | None = Noneteacher_model_init_kwargs: dict[str, typing.Any] | str | None = Noneteacher_tokenizer_name_or_path: str | None = Nonedisable_dropout: bool = Trueseq_kd: bool = Falseuse_privileged_context: bool = Falseteacher_prompt_template: str | None = Noneprivileged_context_column: str = 'privileged_context'num_generations: int = 1generation_batch_size: int | None = Noneuse_uld_loss: bool = Falseuld_token_merge_strategy: str = 'observed'use_extended_uld: bool = Trueuld_use_hybrid_loss: bool = Falseuld_hybrid_matched_weight: float | None = Noneuld_hybrid_unmatched_weight: float | None = Noneuld_crossentropy_weight: float = 0.0uld_distillation_weight: float = 1.0uld_student_temperature: float = 1.0uld_teacher_temperature: float = 1.0uld_skip_student_eos: bool = Trueuld_skip_teacher_eos: bool = Truextoken_loss_type: str = 'none'xtoken_projection_matrix_path: str | None = Nonextoken_temperature: float = 1.0xtoken_dynamic_scaling: bool = Truextoken_uncommon_topk: int = 8192xtoken_vocab_topk: int = 8192xtoken_kl_weight: float = 1.0xtoken_ce_scale: float = 0.1use_vllm: bool = Falsevllm_mode: str = 'colocate'vllm_server_base_url: str | None = Nonevllm_server_host: str = '0.0.0.0'vllm_server_port: int = 8001vllm_server_timeout: float = 240.0vllm_group_port: int = 51216vllm_gpu_memory_utilization: float = 0.9vllm_tensor_parallel_size: int = 1vllm_max_model_length: int | None = Nonevllm_model_impl: str = 'vllm'vllm_structured_outputs_regex: str | None = Nonevllm_sync_frequency: int = 1vllm_enable_sleep_mode: bool = Falselog_completions: bool = Falselog_completions_steps: int = 100num_completions_to_print: int | None = Nonewandb_log_unique_prompts: bool = Truecallbacks: list[str] = <factory> )
Параметры, управляющие генерацией и циклом обучения
- temperature (
float, необязательный, по умолчанию0.9) — Температура для выборки. Чем выше температура, тем более случайными будут завершения. - top_p (
float, необязательный, по умолчанию0.95) — Если установлено значение float < 1, для генерации сохраняются только наименьшее множество наиболее вероятных токенов, сумма вероятностей которых составляетtop_pили больше. - top_k (
int, необязательный, по умолчанию0) — Количество токенов словаря с наивысшей вероятностью, которые сохраняются для фильтрации top-k. Если0, фильтрация top-k отключается и учитываются все токены. - lmbda (
float, необязательный, по умолчанию0.5) — Параметр Lambda, управляющий долей данных студента (т. е. пропорцией выходов, сгенерированных студентом по его собственной политике). - beta (
float, необязательный, по умолчанию0.5) — Коэффициент интерполяции между0.0и1.0для функции потерь Generalized Jensen-Shannon Divergence. Если beta равно0.0, функция потерь представляет собой KL-дивергенцию. Если beta равно1.0, функция потерь представляет собой Inverse KL Divergence. - max_completion_length (
int, необязательный, по умолчанию128) — Максимальное количество токенов, генерируемых для каждого завершения. - teacher_model_name_or_path (
str, необязательный) — Имя или путь к учителю (teacher model). ЕслиNone, учитель будет тем же, что и модель, которая обучается. - teacher_model_revision (
strorNone, необязательный, по умолчаниюNone) — Ревизия teacher-модели (например, имя ветки, тег или хэш коммита). ЕслиNone, используется ревизия по умолчанию. - teacher_model_init_kwargs (
dict[str, Any], необязательный) — Параметры, передаваемые вAutoModelForCausalLM.from_pretrainedпри создании модели-учителя из строки. Значениеrevisionтакже используется при загрузке класса обработки для модели-учителя. - teacher_tokenizer_name_or_path (
str, необязательный) — Имя или путь к токенизатору для teacher-модели. Если значение равно None при использовании ULD loss, будет использован тот же токенизатор, что и у student-модели (не рекомендуется для дистилляции с разными токенизаторами). - disable_dropout (
bool, необязательный, по умолчаниюTrue) — Определяет, следует ли отключить dropout в модели. - seq_kd (
bool, необязательный, по умолчаниюFalse) — Параметр, управляющий выполнением Sequence-Level KD (можно рассматривать как supervised FT на выходных данных, сгенерированных teacher-моделью). - use_privileged_context (
bool, необязательный, по умолчаниюFalse) — Определяет, следует ли использовать для учителя привилегированный контекст для каждого примера, сохраняя при этом промпт студента без изменений. Поддерживается только для текстовых данных и стандартной off-policy дистилляции JSD. - teacher_prompt_template (
str, необязательный) — Шаблон, используемый для построения промпта учителя. Он должен содержать{prompt}и может содержать{privileged_context}. ЕслиNone, по умолчанию используется"{prompt}\n\n{privileged_context}". - privileged_context_column (
str, необязательный, по умолчанию"privileged_context") — Столбец набора данных, содержащий привилегированный контекст для каждого примера, используемый для построения промпта учителя. - num_generations (
int, необязательный, по умолчанию1) — Количество генераций на один запрос. Каждый запрос повторяется в батче генерации указанное число раз. - generation_batch_size (
intorNone, необязательный, по умолчаниюNone) — Количество уникальных промптов на каждый воркер за шаг оптимизатора. ЕслиNone, значение вычисляется по формуле(per_device_train_batch_size * gradient_accumulation_steps) // num_generations.
Параметры, управляющие потерей ULD
- use_uld_loss (
bool, необязательный, по умолчаниюFalse) — Использовать ли функцию потерь Universal Logit Distillation (ULD) вместо функции потерь Generalized Jensen-Shannon Divergence. - use_extended_uld (
bool, необязательный, по умолчаниюTrue) — Определяет, следует ли включать расширенное выравнивание ULD, которое использует токенизаторы для выравнивания и объединения вероятностей токенов между токенизацией студента и учителя. ЕслиTrue, тренер вычисляет сопоставления токенов и объединяет вероятности для разделенных токенов; еслиFalse, ULD использует простую позиционную обрезку, как в оригинальной статье об ULD. УстановитеFalseдля токенизаторов, которые не являются ни ByteLevel, ни BPE с байтовым фолбэком (например, Llama 2). - uld_token_merge_strategy (
str, необязательный, по умолчанию"observed") — Стратегия, используемая для выравнивания логитов ответа и объединения вероятностей токенов в потере ULD. При значении"observed"логиты ответа вырезаются по позициям ответа, а разделённые токены (когдаuse_extended_uld=True) объединяются путём умножения маргинального распределения на первой позиции на скалярные условные вероятности фактических последующих токенов. При значении"bayesian"срез логитов ответа сдвигается на одну позицию раньше, чтобыprobs[k]предсказывалtoken_ids[k](правило цепочки), а разделённые токены объединяются с использованием полного распределения на последней позиции, обусловленного фактическими префиксными токенами, умноженного на скалярные вероятности более ранних токенов. Сдвиг выравнивания логитов применяется независимо от того, включён лиuse_extended_uld. - uld_use_hybrid_loss (
bool, необязательный, по умолчаниюFalse) — Использовать ли гибридную функцию потерь, объединяющую ULD loss и JSD loss. ЕслиTrue, итоговая функция потерь представляет собой комбинацию JSD для известных соответствий токенов и ULD для неизвестных соответствий токенов. - uld_hybrid_matched_weight (
floatorNone, необязательный) — Вес для компонента потерь по совпадающим токенам при использовании гибридной функции потерь ULD + JSD. Этот вес масштабирует потери JSD, вычисленные по токенам, для которых существует прямое соответствие между токенизацией студента и учителя. ЕслиNone, используется адаптивное взвешивание на основе пересечения словарей. Должно быть задано вместе сuld_hybrid_unmatched_weight(обаNoneили обаfloat). - uld_hybrid_unmatched_weight (
floatorNone, необязательный) — Вес для компонента потерь на несоответствующих токенах при использовании гибридной функции потерь ULD + JSD. Этот вес масштабирует потери ULD, вычисленные по токенам, для которых отсутствует прямое соответствие между токенизацией студента и учителя. ЕслиNone, используется адаптивное взвешивание на основе пересечения словарей. Должно быть задано вместе сuld_hybrid_matched_weight(обаNoneили обаfloat). - uld_crossentropy_weight (
float, необязательный, по умолчанию0.0) — Вес компонента потерь кросс-энтропии в потере ULD. Если равно 0, используется только дистилляционная потеря ULD. - uld_distillation_weight (
float, необязательный, по умолчанию1.0) — Вес компонента потерь дистилляции в функции потерь ULD. - uld_student_temperature (
float, необязательный, по умолчанию1.0) — Температура для логитов студента при вычислении функции потерь ULD. - uld_teacher_temperature (
float, необязательный, по умолчанию1.0) — Температура для логитов учителя при вычислении функции потерь ULD. - uld_skip_student_eos (
bool, необязательный, по умолчаниюTrue) — Определяет, следует ли пропускать токен EOS для студента при вычислении функции потерь ULD. - uld_skip_teacher_eos (
bool, необязательный, по умолчаниюTrue) — Определяет, следует ли пропускать токен EOS для учителя при вычислении функции потерь ULD.
Параметры для X-Token cross-tokenizer KD (https
- xtoken_loss_type (
str, необязательный, по умолчанию"none") — Вариант KD между токенизаторами:"none"(отключено),"p_kl"(KL-проекция) или"h_kl"(гибридный KL с расслабленным общим множеством). Требуетteacher_tokenizer_name_or_pathиxtoken_projection_matrix_path. - xtoken_projection_matrix_path (
str, необязательный) — Путь к файлу с предварительно вычисленной матрицей проекции. Обязателен, еслиxtoken_loss_type != "none". - xtoken_temperature (
float, необязательный, по умолчанию1.0) — Температура T для функции потерь X-Token KD; потери умножаются на T² (Hinton 2015). - xtoken_dynamic_scaling (
bool, необязательный, по умолчаниюTrue) — Масштабирует KD поstop_gradient(abs(CE) / abs(KD))для каждого микропакета, чтобы сбалансировать величины потерь (формула 7 в статье). - xtoken_uncommon_topk (
int, необязательный, по умолчанию8192) — H-KL: ограничивает сравнение редких токенов по отсортированному L1 только первыми k токенами с каждой стороны. - xtoken_vocab_topk (
int, необязательный, по умолчанию8192) — P-KL: ограничивает KL глобальными top-k токенами учителя по максимальному логиту. Взаимодействует с проекционной матрицей--top-k: токены учителя, находящиеся вне досягаемости матрицы, получают близкую к нулю проекционную массу студента и доминируют в KL, поэтому меньшие значения концентрируют потерю на токенах, которые студент способен воспроизвести. - xtoken_kl_weight (
float, необязательный, по умолчанию1.0) — Вес для члена X-Token KD, когдаxtoken_dynamic_scaling=False. - xtoken_ce_scale (
float, необязательный, по умолчанию0.1) — Коэффициент масштабирования для слагаемого CE в функции потерь X-Token приxtoken_dynamic_scaling=False.
Параметры, управляющие интеграцией с vLLM
- use_vllm (
bool, необязательный, по умолчаниюFalse) — Использовать ли vLLM для генерации завершений от модели-ученика. Требуется установкаvllm. - vllm_mode (
str, необязательный, по умолчанию"colocate") — Режим интеграции с vLLM для student. Либо"server"(подключение к запущенному серверу vLLM), либо"colocate"(запуск vLLM в том же процессе). - vllm_server_host (
str, необязательный, по умолчанию"0.0.0.0") — Хост сервера vLLM для модели-студента (еслиvllm_mode="server"). - vllm_server_port (
int, необязательный, по умолчанию8001) — Порт сервера vLLM для модели-студента (еслиvllm_mode="server"). - vllm_server_timeout (
float, необязательный, по умолчанию240.0) — Таймаут подключения к серверу vLLM студента (еслиvllm_mode="server"). - vllm_gpu_memory_utilization (
float, необязательный, по умолчанию0.9) — доля использования памяти GPU для движка vLLM студента в режиме совместного размещения (еслиvllm_mode="colocate"). Рекомендуется установить низкое значение, если модели студента и учителя используют один и тот же GPU. - vllm_tensor_parallel_size (
int, необязательный, по умолчанию1) — Размер тензорного параллелизма для локального движка vLLM студента (еслиvllm_mode="colocate"). - vllm_structured_outputs_regex (
str, необязательный) — Регулярное выражение для структурированных выходов vLLM для модели-студента. - vllm_server_base_url (
str, необязательный) — Базовый URL сервера vLLM (например,"http://localhost:8001"). Если указан,vllm_server_hostиvllm_server_portигнорируются. - vllm_group_port (
int, необязательный, по умолчанию51216) — Порт для группы обновления весов vLLM (коммутатор NCCL). Если порт свободен, менять его не нужно. - vllm_max_model_length (
int, необязательный) — Максимальная длина последовательности модели для движка vLLM в режиме colocation, когдаvllm_mode="colocate". По умолчанию используется максимальная длина контекста модели. - vllm_model_impl (
str, необязательный, по умолчанию"vllm") — Бэкенд реализации модели, используемый в vLLM. Используйте"vllm"(по умолчанию) или"transformers". - vllm_sync_frequency (
int, необязательный, по умолчанию1) — Частота (в шагах обучения) синхронизации весов модели-ученика с движком vLLM. Установите значение 1, чтобы синхронизировать веса после каждого шага. - vllm_enable_sleep_mode (
bool, необязательный, по умолчаниюFalse) — Включает режим сна vLLM для выгрузки весов/кэша студента во время шага оптимизатора. Держит использование памяти GPU на низком уровне, но пробуждение движка добавляет задержку на передачу данных между хостом и устройством.
Параметры, управляющие ведением журнала
- log_completions (
bool, необязательный, по умолчаниюFalse) — Определяет, следует ли каждыеlogging_stepsшагов выводить в журнал выборку пар (prompt, completion). Если установлен пакетrich, выборка печатается в консоль. Если включено логирование вwandb, выборка отправляется вwandb. - log_completions_steps (
int, необязательный, по умолчанию100) — Количество шагов между записью в журнал пар (prompt, completion). Используется только еслиlog_completionsустановлено вTrue. - num_completions_to_print (
intorNone, необязательный) — Количество завершений, которые нужно вывести с помощьюrich. ЕслиNone, в журнал записываются все завершения. - wandb_log_unique_prompts (
bool, необязательный, по умолчаниюTrue) — Определяет, следует ли отправлять уникальные промпты в wandb. Для каждого уникального промпта будет создан новый run. - callbacks (
list[str], необязательный, по умолчанию[]) — Список колбэков, которые будут выполняться во время обучения.
Класс конфигурации для experimental.gold.GOLDTrainer.
Этот класс включает только параметры, специфичные для обучения GOLD. Полный список аргументов обучения см. в документации TrainingArguments и SFTConfig.
Эти параметры имеют значения по умолчанию, отличные от TrainingArguments:
learning_rate: по умолчанию1e-7, а не5e-5.