TRL documentation

Тренер общей онлайн-логит-дистилляции (GOLD)

You are viewing v1.18.1 version. A newer version v1.18.2 is available.
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Тренер общей онлайн-логит-дистилляции (GOLD)

All_models-GOLD-blue

Обзор

General Online Logit Distillation (GOLD) — это расширение Universal Logit Distillation (ULD), поддерживающее пары «ученик/учитель» с различными токенизаторами. Метод выравнивает текстовые фрагменты, полученные обоими токенизаторами, и объединяет соответствующие логиты, чтобы ни один токен завершения не был потерян. Это позволяет осуществлять дистилляцию знаний между моделями с разными токенизаторами, включая смешанные семейства моделей (например, ученики LLaMA с учителями Qwen).

Ключевые возможности:

  1. Сопоставление токенизаторов – GOLD последовательно декодирует токены ученика и учителя, группирует фрагменты с одинаковым видимым текстом и объединяет вероятности внутри каждой группы. Это гарантирует, что члены функции потерь вычисляются для полного завершения, даже если границы токенов различаются.
  2. Гибкая функция потерь ULD – когда включён uld_use_hybrid_loss, GOLD напрямую сравнивает точные совпадения в словаре и использует исходную функцию потерь ULD на основе отсортированных вероятностей для несовпавших токенов. Это повышает стабильность для учеников, чьи словари лишь частично пересекаются со словарём учителя.
  3. Бесшовная интеграция с GKD – GOLD наследует планирование on-policy и off-policy из experimental.gkd.GKDTrainer, что позволяет комбинировать KD на уровне последовательностей, обобщённый JSD и дистилляцию между разными токенизаторами в одном прогоне обучения.

GOLD в настоящее время входит в пространство имён trl.experimental. API могут измениться без предупреждения, пока функция дорабатывается.

Советы по использованию

Класс experimental.gold.GOLDTrainer наследуется от SFTTrainer и принимает те же наборы данных, что и другие тренера TRL (списки сообщений в стиле ChatML). Важные флаги конфигурации в experimental.gold.GOLDConfig включают:

  • use_uld_loss – включает Universal Logit Distillation. Установите значение True для конфигураций с разными токенизаторами.
  • teacher_tokenizer_name_or_path – обязателен, если use_uld_loss=True; GOLD использует токенизатор учителя для выравнивания токенов.
  • uld_use_hybrid_loss, uld_hybrid_matched_weight, uld_hybrid_unmatched_weight – включает и задаёт веса для гибридной функции потерь для совпадающих/несовпадающих элементов.
  • beta, lmbda, seq_kd – унаследованы из experimental.gkd.GKDConfig, управляют интерполяцией обобщённого JSD и долей on-policy выборки.
  • use_privileged_context, teacher_prompt_template, privileged_context_column – позволяют учителю видеть дополнительный контекст для каждого примера, в то время как промпт студента остаётся неизменным. В настоящее время это ограничено обучением с текстом, off-policy и стандартным JSD.
  • num_generations, generation_batch_size – управляют буферизованной генерацией rollout в пределах окон накопления градиентов. generation_batch_size – количество уникальных промптов на каждый worker за один шаг оптимизатора.

Минимальный пример «от и до»:

from datasets import load_dataset
from trl.experimental.gold import GOLDConfig, GOLDTrainer

train_dataset = load_dataset(
    "HuggingFaceTB/OpenR1-Math-220k-default-verified",
    "all",
    split="train[:1024]",
)

trainer = GOLDTrainer(
    model="meta-llama/Llama-3.2-1B-Instruct",
    teacher_model="Qwen/Qwen2.5-0.5B-Instruct",
    args=GOLDConfig(output_dir="gold-model", use_uld_loss=True, teacher_tokenizer_name_or_path="Qwen/Qwen2.5-0.5B-Instruct"),
    train_dataset=train_dataset,
)
trainer.train()

Для быстрых сценариев работы можно полагаться на строковые идентификаторы, как показано выше, — тренер загрузит модель и токенизатор за вас. Явное создание экземпляров AutoModelForCausalLM, AutoTokenizer или заполнение GOLDConfig рекомендуется только для продвинутых случаев, когда требуется тонкий контроль над инициализацией.

Более явный вариант настройки может выглядеть так, если вам нужно настроить загрузку модели, параметры токенизатора или аргументы обучения:

from datasets import load_dataset
from trl.experimental.gold import GOLDConfig, GOLDTrainer
from transformers import AutoModelForCausalLM, AutoTokenizer

student_name = "meta-llama/Llama-3.2-1B-Instruct"
teacher_name = "Qwen/Qwen2.5-0.5B-Instruct"

tokenizer = AutoTokenizer.from_pretrained(student_name)
if tokenizer.pad_token is None:
    tokenizer.pad_token = tokenizer.eos_token

model = AutoModelForCausalLM.from_pretrained(student_name)
teacher_model = AutoModelForCausalLM.from_pretrained(teacher_name)

train_dataset = load_dataset(
    "HuggingFaceTB/Countdown-Task-GOLD",
    "verified_Qwen2.5-0.5B-Instruct",
    split="train",
)

training_args = GOLDConfig(
    output_dir="gold-model",
    per_device_train_batch_size=1,
    teacher_model_name_or_path=teacher_name,
    teacher_tokenizer_name_or_path=teacher_name,
    use_uld_loss=True,
    uld_use_hybrid_loss=True,
)

trainer = GOLDTrainer(
    model=model,
    teacher_model=teacher_model,
    args=training_args,
    processing_class=tokenizer,
    train_dataset=train_dataset,
)
trainer.train()

GOLD буферизует один полный батч генерации для окна оптимизатора (per_device_train_batch_size * gradient_accumulation_steps) и переиспользует его на шагах накопления градиентов. Если последний батч имеет неполный размер, GOLD выводит предупреждение и отбрасывает этот последний батч (Dropping last batch due to unexpected batch size). Чтобы избежать этого предупреждения, установите dataloader_drop_last=True.

Ожидаемый тип набора данных

Для GOLD требуется диалоговый датасет для моделирования языка, например:

{"messages": [{"role": "user", "content": "What color is the sky?"},
              {"role": "assistant", "content": "It is blue."}]}

GOLDTrainer сохраняет исходные сообщения, чтобы коллаборатор ChatML мог формировать промпты и завершения с корректными границами.

Привилегированный контекст

Дистилляция с привилегированным контекстом предоставляет учителю дополнительную информацию, недоступную ученику во время инференса. Добавьте столбец контекста в обычный набор данных с промптами и завершениями, затем явно включите эту функцию:

from datasets import Dataset

dataset = Dataset.from_list(
    [
        {
            "prompt": [{"role": "user", "content": "What caused the outage?"}],
            "completion": [{"role": "assistant", "content": "A timeout change caused the outage."}],
            "privileged_context": "The deployment changed the timeout immediately before errors began.",
        }
    ]
)

args = GOLDConfig(
    output_dir="gold-model",
    lmbda=0.0,
    use_privileged_context=True,
)

Студент обучается на исходном промпте и завершении. По умолчанию учитель получает отдельный промпт, построенный по шаблону "{prompt}\n\n{privileged_context}", после чего оценивает то же самое завершение. Для диалоговых данных GOLD переписывает только последний ход пользователя перед повторным применением шаблона чата; ходы системы, инструментов и ассистента остаются неизменными. Чтобы настроить этот промпт, задайте teacher_prompt_template, а для использования столбца, отличного от "privileged_context", — privileged_context_column.

Промпт учителя никогда не усечается, поэтому убедитесь, что он помещается в контекстное окно модели учителя. Эта начальная поддержка намеренно ограничена текстом и стандартной off-policy дистилляцией JSD: lmbda должно быть 0, а seq_kd=True, use_uld_loss=True, X-Token KD (xtoken_loss_type отличное от "none"), packing, VLM и Liger Kernel не поддерживаются с привилегированным контекстом.

Как работает слияние токенов

Когда студент и учитель используют разные токенизаторы, один и тот же текст может быть разбит по-разному:

  • Студент: "Hugging Face" → 1 токен
  • Учитель: "Hugging", " Face" → 2 токена

GOLD выравнивает эти последовательности и объединяет многозначные вероятности учителя в единственное распределение, которое можно сравнить с однозначным распределением ученика.

Слияние вероятностей

Для последовательности токенов учителя [token₀, token₁, ..., tokenₖ], соответствующей одному токену ученика, GOLD вычисляет:

P_merged(y) = P(y | context) × P(token₁ | token₀, context) × ... × P(tokenₖ | ..., context)

где:

  • P(y | context) — это маргинальное распределение вероятностей по всем токенам словаря на первой позиции
  • P(tokenᵢ | ..., context) — это скалярные условные вероятности фактически сгенерированных токенов

Ключевой вывод: в качестве скаляров извлекаются только условные вероятности токенов фактического продолжения. Затем полное маргинальное распределение на первой позиции масштабируется путём умножения на эти скалярные вероятности.

Это обеспечивает:

  1. Правильная совместная вероятность для фактически сгенерированной последовательности (по правилу цепочки)
  2. Разумное приближение для контрфактических токенов (масштабированное той же вероятностью продолжения)
  3. Ненормированные распределения, сохраняющие правильные относительные вероятности для вычисления потерь ULD

Пример

Дано:

P(x₀):         ["HF": 0.6,  "is": 0.3,  "cool": 0.1]
P(x₁ | "HF"):  ["HF": 0.05, "is": 0.9,  "cool": 0.05]

Если токены 0 и 1 объединены, а фактическая последовательность была ["HF", "is"]:

P_merged("HF")   = 0.6 × 0.9 = 0.54  ✓ (correct joint probability)
P_merged("is")   = 0.3 × 0.9 = 0.27
P_merged("cool") = 0.1 × 0.9 = 0.09

Смешанное распределение не нормировано (сумма равна 0.81), но это сделано намеренно и является корректным для вычисления потерь ULD, которое использует сортировку и L1-расстояние.

Пример скрипта

Используйте examples/gold_chatbot_arena/gold_chatbot_arena.py для запуска обучения GOLD из командной строки. Скрипт поддерживает полное обучение и LoRA с помощью стандартных флагов ModelConfig.

python examples/gold_chatbot_arena/gold_chatbot_arena.py \
    --model_name_or_path meta-llama/Llama-3.2-1B-Instruct \
    --teacher_model_name_or_path Qwen/Qwen2-1.5B-Instruct \
    --dataset_name trl-lib/chatbot_arena_completions \
    --learning_rate 2e-5 \
    --per_device_train_batch_size 4 \
    --gradient_accumulation_steps 8 \
    --output_dir gold-model \
    --num_train_epochs 1 \
    --push_to_hub

Обучение моделей «зрение-язык»

experimental.gold.GOLDTrainer поддерживает дистилляцию VLM-to-VLM. И ученическая, и учительская модели должны быть моделями «зрение-язык». Для обучения VLM предоставьте датасет с колонкой image (одно изображение на образец) или колонкой images (список изображений на образец). Подробнее об ожидаемой структуре датасета см. в разделе Dataset Format — Vision datasets.

Если ученическая и учительская модели имеют одинаковую архитектуру и токенизатор (например, Qwen3-VL-8B и Qwen3-VL-2B), стандартная обобщённая функция потерь JSD применяется напрямую. Если у них разные значения model_type (например, Qwen3-VL и LFM2.5-VL), установите use_uld_loss=True, чтобы включить выравнивание между токенизаторами с помощью Universal Logit Distillation. Изображения обрабатываются отдельно через процессор каждой модели.

from datasets import load_dataset
import torch
from transformers import AutoModelForImageTextToText, AutoProcessor
from trl.experimental.gold import GOLDConfig, GOLDTrainer

student_name = "Qwen/Qwen3-VL-2B-Instruct"
teacher_name = "Qwen/Qwen3-VL-8B-Instruct"

processor = AutoProcessor.from_pretrained(student_name, padding_side="left")
student_model = AutoModelForImageTextToText.from_pretrained(student_name, dtype=torch.bfloat16)
teacher_model = AutoModelForImageTextToText.from_pretrained(teacher_name, dtype=torch.bfloat16)

train_dataset = load_dataset("trl-lib/llava-instruct-mix", split="train")

trainer = GOLDTrainer(
    model=student_model,
    teacher_model=teacher_model,
    args=GOLDConfig(
        output_dir="gold-vlm-model",
        max_length=None,
        teacher_model_name_or_path=teacher_name,
        use_uld_loss=False,
    ),
    train_dataset=train_dataset,
    processing_class=processor,
)
trainer.train()

Для дистилляции между семействами моделей установите use_uld_loss=True и teacher_tokenizer_name_or_path в имя модели-учителя.

Используйте examples/gold_qwen3_vl/gold_qwen3_vl.py для запуска обучения GOLD VLM из командной строки:

# Same-family distillation (JSD loss, vLLM enabled)
torchrun --nproc_per_node 8 examples/gold_qwen3_vl/gold_qwen3_vl.py \
    --student_model_name Qwen/Qwen3-VL-2B-Instruct \
    --teacher_model_name Qwen/Qwen3-VL-8B-Instruct

# Cross-family distillation (ULD loss, local generation)
torchrun --nproc_per_node 8 examples/gold_qwen3_vl/gold_qwen3_vl.py \
    --student_model_name LiquidAI/LFM2.5-VL-1.6B \
    --teacher_model_name Qwen/Qwen3-VL-8B-Instruct \
    --use_uld_loss \
    --no-use_vllm

Для VLM truncation_mode='keep_end' не поддерживается, поскольку токены изображений находятся в части последовательности, соответствующей промпту, и могут быть молча удалены. Используйте truncation_mode='keep_start' (значение по умолчанию) или установите max_length=None в experimental.gold.GOLDConfig. Это позволяет модели обрабатывать последовательность полной длины без усечения токенов изображений.

GOLDConfig(max_length=None, ...)

Используйте max_length только после того, как вы убедитесь, что усечение не удалит токены изображений для всего набора данных.

Дистилляция VLM между архитектурами требует use_uld_loss=True. Тренировщик вызовет ошибку, если вы попытаетесь выполнить дистилляцию между архитектурами без потери ULD.

GOLDTrainer

класс trl.experimental.gold.GOLDTrainer

< >

( model: typing.Union[transformers.modeling_utils.PreTrainedModel, torch.nn.Module, str, NoneType] = Noneteacher_model: typing.Union[transformers.modeling_utils.PreTrainedModel, torch.nn.Module, str] = Noneargs: trl.experimental.gold.gold_config.GOLDConfig | None = Nonedata_collator: collections.abc.Callable[[list[typing.Any]], dict[str, typing.Any]] | None = Nonetrain_dataset: datasets.arrow_dataset.Dataset | None = Noneeval_dataset: datasets.arrow_dataset.Dataset | dict[str, datasets.arrow_dataset.Dataset] | None = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | transformers.image_processing_utils.BaseImageProcessor | transformers.feature_extraction_utils.FeatureExtractionMixin | transformers.processing_utils.ProcessorMixin | None = Nonecompute_metrics: collections.abc.Callable[[transformers.trainer_utils.EvalPrediction], dict] | None = Nonecallbacks: list[transformers.trainer_callback.TrainerCallback] | None = Noneoptimizers: tuple[torch.optim.Optimizer, torch.optim.lr_scheduler.LambdaLR] = (None, None)preprocess_logits_for_metrics: collections.abc.Callable[[torch.Tensor, torch.Tensor], torch.Tensor] | None = Nonepeft_config: typing.Optional[ForwardRef('PeftConfig')] = None )

обучение

< >

( resume_from_checkpoint: str | bool | None = Nonetrial: optuna.Trial | dict[str, Any] | None = Noneignore_keys_for_eval: list[str] | None = None ) → ~trainer_utils.TrainOutput

Параметры

  • resume_from_checkpoint (str или bool, необязательный) — Если передано значение типа str, это локальный путь к сохранённой контрольной точке, созданной предыдущим экземпляром Trainer. Если передано значение типа bool и оно равно True, загружается последняя контрольная точка из args.output_dir, сохранённая предыдущим экземпляром Trainer. Если параметр указан, обучение возобновляется из состояний модели/оптимизатора/планировщика, загруженных из этой контрольной точки.
  • trial (optuna.Trial или dict[str, Any], необязательный) — Запуск испытания или словарь гиперпараметров для поиска гиперпараметров.
  • ignore_keys_for_eval (list[str], необязательный) — Список ключей в выводе вашей модели (если он представляет собой словарь), которые следует игнорировать при сборе предсказаний для оценки во время обучения.

Возвращает

~trainer_utils.TrainOutput

Объект, содержащий количество глобальных шагов, потерю обучения и метрики.

Основная точка входа для обучения.

generate_on_policy_outputs

< >

( modelinputsgeneration_config )

save_model

< >

( output_dir: str | None = None_internal_call: bool = False )

Сохранит модель, чтобы вы могли загрузить её снова с помощью from_pretrained().

Сохранение будет выполняться только из основного процесса.

push_to_hub

< >

( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )

Параметры

  • commit_message (str, необязательный, по умолчанию "End of training") — Сообщение для коммита при отправке.
  • blocking (bool, необязательный, по умолчанию True) — Определяет, должна ли функция возвращаться только после завершения git push.
  • token (str, необязательный, по умолчанию None) — Токен с правом записи для перезаписи исходных аргументов Trainer.
  • revision (str, необязательный) — Git-ревизия, от которой выполняется коммит. По умолчанию используется head ветки “main”.
  • private (bool, необязательный) — Определяет, следует ли сделать репозиторий приватным при его создании. По умолчанию используется значение args.hub_private_repo. Не имеет эффекта, если репозиторий уже существует.
  • kwargs (dict[str, Any], необязательный) — Дополнительные именованные аргументы, передаваемые в ~Trainer.create_model_card.

Загрузите self.model и self.processing_class в модельный хаб 🤗 в репозиторий self.args.hub_model_id.

GOLDConfig

класс trl.experimental.gold.GOLDConfig

< >

( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 1e-07lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool | None = Nonegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 10logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Falserestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool = Truelabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1model_init_kwargs: dict[str, typing.Any] | str | None = Nonetrust_remote_code: bool = Falserouter_aux_loss_coef: float | None = Nonechat_template_path: str | None = Nonedataset_text_field: str = 'text'dataset_kwargs: dict[str, typing.Any] | str | None = Nonedataset_num_proc: int | None = Noneeos_token: str | None = Nonemax_length: int | None = 1024truncation_mode: str = 'keep_start'shuffle_dataset: bool = Falsepacking: bool = Falsepacking_strategy: str = 'bfd'padding_free: bool = Falsepad_to_multiple_of: int | str | None = 'auto'eval_packing: bool | None = Nonecompletion_only_loss: bool | None = Noneassistant_only_loss: bool = Falseloss_type: str = 'nll'activation_offloading: bool = Falsepad_token: str | None = Nonetemperature: float = 0.9top_p: float = 0.95top_k: int = 0lmbda: float = 0.5beta: float = 0.5max_completion_length: int = 128teacher_model_name_or_path: str | None = Noneteacher_model_revision: str | None = Noneteacher_model_init_kwargs: dict[str, typing.Any] | str | None = Noneteacher_tokenizer_name_or_path: str | None = Nonedisable_dropout: bool = Trueseq_kd: bool = Falseuse_privileged_context: bool = Falseteacher_prompt_template: str | None = Noneprivileged_context_column: str = 'privileged_context'num_generations: int = 1generation_batch_size: int | None = Noneuse_uld_loss: bool = Falseuld_token_merge_strategy: str = 'observed'use_extended_uld: bool = Trueuld_use_hybrid_loss: bool = Falseuld_hybrid_matched_weight: float | None = Noneuld_hybrid_unmatched_weight: float | None = Noneuld_crossentropy_weight: float = 0.0uld_distillation_weight: float = 1.0uld_student_temperature: float = 1.0uld_teacher_temperature: float = 1.0uld_skip_student_eos: bool = Trueuld_skip_teacher_eos: bool = Truextoken_loss_type: str = 'none'xtoken_projection_matrix_path: str | None = Nonextoken_temperature: float = 1.0xtoken_dynamic_scaling: bool = Truextoken_uncommon_topk: int = 8192xtoken_vocab_topk: int = 8192xtoken_kl_weight: float = 1.0xtoken_ce_scale: float = 0.1use_vllm: bool = Falsevllm_mode: str = 'colocate'vllm_server_base_url: str | None = Nonevllm_server_host: str = '0.0.0.0'vllm_server_port: int = 8001vllm_server_timeout: float = 240.0vllm_group_port: int = 51216vllm_gpu_memory_utilization: float = 0.9vllm_tensor_parallel_size: int = 1vllm_max_model_length: int | None = Nonevllm_model_impl: str = 'vllm'vllm_structured_outputs_regex: str | None = Nonevllm_sync_frequency: int = 1vllm_enable_sleep_mode: bool = Falselog_completions: bool = Falselog_completions_steps: int = 100num_completions_to_print: int | None = Nonewandb_log_unique_prompts: bool = Truecallbacks: list[str] = <factory> )

Параметры, управляющие генерацией и циклом обучения

  • temperature (float, необязательный, по умолчанию 0.9) — Температура для выборки. Чем выше температура, тем более случайными будут завершения.
  • top_p (float, необязательный, по умолчанию 0.95) — Если установлено значение float < 1, для генерации сохраняются только наименьшее множество наиболее вероятных токенов, сумма вероятностей которых составляет top_p или больше.
  • top_k (int, необязательный, по умолчанию 0) — Количество токенов словаря с наивысшей вероятностью, которые сохраняются для фильтрации top-k. Если 0, фильтрация top-k отключается и учитываются все токены.
  • lmbda (float, необязательный, по умолчанию 0.5) — Параметр Lambda, управляющий долей данных студента (т. е. пропорцией выходов, сгенерированных студентом по его собственной политике).
  • beta (float, необязательный, по умолчанию 0.5) — Коэффициент интерполяции между 0.0 и 1.0 для функции потерь Generalized Jensen-Shannon Divergence. Если beta равно 0.0, функция потерь представляет собой KL-дивергенцию. Если beta равно 1.0, функция потерь представляет собой Inverse KL Divergence.
  • max_completion_length (int, необязательный, по умолчанию 128) — Максимальное количество токенов, генерируемых для каждого завершения.
  • teacher_model_name_or_path (str, необязательный) — Имя или путь к учителю (teacher model). Если None, учитель будет тем же, что и модель, которая обучается.
  • teacher_model_revision (str or None, необязательный, по умолчанию None) — Ревизия teacher-модели (например, имя ветки, тег или хэш коммита). Если None, используется ревизия по умолчанию.
  • teacher_model_init_kwargs (dict[str, Any], необязательный) — Параметры, передаваемые в AutoModelForCausalLM.from_pretrained при создании модели-учителя из строки. Значение revision также используется при загрузке класса обработки для модели-учителя.
  • teacher_tokenizer_name_or_path (str, необязательный) — Имя или путь к токенизатору для teacher-модели. Если значение равно None при использовании ULD loss, будет использован тот же токенизатор, что и у student-модели (не рекомендуется для дистилляции с разными токенизаторами).
  • disable_dropout (bool, необязательный, по умолчанию True) — Определяет, следует ли отключить dropout в модели.
  • seq_kd (bool, необязательный, по умолчанию False) — Параметр, управляющий выполнением Sequence-Level KD (можно рассматривать как supervised FT на выходных данных, сгенерированных teacher-моделью).
  • use_privileged_context (bool, необязательный, по умолчанию False) — Определяет, следует ли использовать для учителя привилегированный контекст для каждого примера, сохраняя при этом промпт студента без изменений. Поддерживается только для текстовых данных и стандартной off-policy дистилляции JSD.
  • teacher_prompt_template (str, необязательный) — Шаблон, используемый для построения промпта учителя. Он должен содержать {prompt} и может содержать {privileged_context}. Если None, по умолчанию используется "{prompt}\n\n{privileged_context}".
  • privileged_context_column (str, необязательный, по умолчанию "privileged_context") — Столбец набора данных, содержащий привилегированный контекст для каждого примера, используемый для построения промпта учителя.
  • num_generations (int, необязательный, по умолчанию 1) — Количество генераций на один запрос. Каждый запрос повторяется в батче генерации указанное число раз.
  • generation_batch_size (int or None, необязательный, по умолчанию None) — Количество уникальных промптов на каждый воркер за шаг оптимизатора. Если None, значение вычисляется по формуле (per_device_train_batch_size * gradient_accumulation_steps) // num_generations.

Параметры, управляющие потерей ULD

  • use_uld_loss (bool, необязательный, по умолчанию False) — Использовать ли функцию потерь Universal Logit Distillation (ULD) вместо функции потерь Generalized Jensen-Shannon Divergence.
  • use_extended_uld (bool, необязательный, по умолчанию True) — Определяет, следует ли включать расширенное выравнивание ULD, которое использует токенизаторы для выравнивания и объединения вероятностей токенов между токенизацией студента и учителя. Если True, тренер вычисляет сопоставления токенов и объединяет вероятности для разделенных токенов; если False, ULD использует простую позиционную обрезку, как в оригинальной статье об ULD. Установите False для токенизаторов, которые не являются ни ByteLevel, ни BPE с байтовым фолбэком (например, Llama 2).
  • uld_token_merge_strategy (str, необязательный, по умолчанию "observed") — Стратегия, используемая для выравнивания логитов ответа и объединения вероятностей токенов в потере ULD. При значении "observed" логиты ответа вырезаются по позициям ответа, а разделённые токены (когда use_extended_uld=True) объединяются путём умножения маргинального распределения на первой позиции на скалярные условные вероятности фактических последующих токенов. При значении "bayesian" срез логитов ответа сдвигается на одну позицию раньше, чтобы probs[k] предсказывал token_ids[k] (правило цепочки), а разделённые токены объединяются с использованием полного распределения на последней позиции, обусловленного фактическими префиксными токенами, умноженного на скалярные вероятности более ранних токенов. Сдвиг выравнивания логитов применяется независимо от того, включён ли use_extended_uld.
  • uld_use_hybrid_loss (bool, необязательный, по умолчанию False) — Использовать ли гибридную функцию потерь, объединяющую ULD loss и JSD loss. Если True, итоговая функция потерь представляет собой комбинацию JSD для известных соответствий токенов и ULD для неизвестных соответствий токенов.
  • uld_hybrid_matched_weight (float or None, необязательный) — Вес для компонента потерь по совпадающим токенам при использовании гибридной функции потерь ULD + JSD. Этот вес масштабирует потери JSD, вычисленные по токенам, для которых существует прямое соответствие между токенизацией студента и учителя. Если None, используется адаптивное взвешивание на основе пересечения словарей. Должно быть задано вместе с uld_hybrid_unmatched_weight (оба None или оба float).
  • uld_hybrid_unmatched_weight (float or None, необязательный) — Вес для компонента потерь на несоответствующих токенах при использовании гибридной функции потерь ULD + JSD. Этот вес масштабирует потери ULD, вычисленные по токенам, для которых отсутствует прямое соответствие между токенизацией студента и учителя. Если None, используется адаптивное взвешивание на основе пересечения словарей. Должно быть задано вместе с uld_hybrid_matched_weight (оба None или оба float).
  • uld_crossentropy_weight (float, необязательный, по умолчанию 0.0) — Вес компонента потерь кросс-энтропии в потере ULD. Если равно 0, используется только дистилляционная потеря ULD.
  • uld_distillation_weight (float, необязательный, по умолчанию 1.0) — Вес компонента потерь дистилляции в функции потерь ULD.
  • uld_student_temperature (float, необязательный, по умолчанию 1.0) — Температура для логитов студента при вычислении функции потерь ULD.
  • uld_teacher_temperature (float, необязательный, по умолчанию 1.0) — Температура для логитов учителя при вычислении функции потерь ULD.
  • uld_skip_student_eos (bool, необязательный, по умолчанию True) — Определяет, следует ли пропускать токен EOS для студента при вычислении функции потерь ULD.
  • uld_skip_teacher_eos (bool, необязательный, по умолчанию True) — Определяет, следует ли пропускать токен EOS для учителя при вычислении функции потерь ULD.

Параметры для X-Token cross-tokenizer KD (https

  • xtoken_loss_type (str, необязательный, по умолчанию "none") — Вариант KD между токенизаторами: "none" (отключено), "p_kl" (KL-проекция) или "h_kl" (гибридный KL с расслабленным общим множеством). Требует teacher_tokenizer_name_or_path и xtoken_projection_matrix_path.
  • xtoken_projection_matrix_path (str, необязательный) — Путь к файлу с предварительно вычисленной матрицей проекции. Обязателен, если xtoken_loss_type != "none".
  • xtoken_temperature (float, необязательный, по умолчанию 1.0) — Температура T для функции потерь X-Token KD; потери умножаются на T² (Hinton 2015).
  • xtoken_dynamic_scaling (bool, необязательный, по умолчанию True) — Масштабирует KD по stop_gradient(abs(CE) / abs(KD)) для каждого микропакета, чтобы сбалансировать величины потерь (формула 7 в статье).
  • xtoken_uncommon_topk (int, необязательный, по умолчанию 8192) — H-KL: ограничивает сравнение редких токенов по отсортированному L1 только первыми k токенами с каждой стороны.
  • xtoken_vocab_topk (int, необязательный, по умолчанию 8192) — P-KL: ограничивает KL глобальными top-k токенами учителя по максимальному логиту. Взаимодействует с проекционной матрицей --top-k: токены учителя, находящиеся вне досягаемости матрицы, получают близкую к нулю проекционную массу студента и доминируют в KL, поэтому меньшие значения концентрируют потерю на токенах, которые студент способен воспроизвести.
  • xtoken_kl_weight (float, необязательный, по умолчанию 1.0) — Вес для члена X-Token KD, когда xtoken_dynamic_scaling=False.
  • xtoken_ce_scale (float, необязательный, по умолчанию 0.1) — Коэффициент масштабирования для слагаемого CE в функции потерь X-Token при xtoken_dynamic_scaling=False.

Параметры, управляющие интеграцией с vLLM

  • use_vllm (bool, необязательный, по умолчанию False) — Использовать ли vLLM для генерации завершений от модели-ученика. Требуется установка vllm.
  • vllm_mode (str, необязательный, по умолчанию "colocate") — Режим интеграции с vLLM для student. Либо "server" (подключение к запущенному серверу vLLM), либо "colocate" (запуск vLLM в том же процессе).
  • vllm_server_host (str, необязательный, по умолчанию "0.0.0.0") — Хост сервера vLLM для модели-студента (если vllm_mode="server").
  • vllm_server_port (int, необязательный, по умолчанию 8001) — Порт сервера vLLM для модели-студента (если vllm_mode="server").
  • vllm_server_timeout (float, необязательный, по умолчанию 240.0) — Таймаут подключения к серверу vLLM студента (если vllm_mode="server").
  • vllm_gpu_memory_utilization (float, необязательный, по умолчанию 0.9) — доля использования памяти GPU для движка vLLM студента в режиме совместного размещения (если vllm_mode="colocate"). Рекомендуется установить низкое значение, если модели студента и учителя используют один и тот же GPU.
  • vllm_tensor_parallel_size (int, необязательный, по умолчанию 1) — Размер тензорного параллелизма для локального движка vLLM студента (если vllm_mode="colocate").
  • vllm_structured_outputs_regex (str, необязательный) — Регулярное выражение для структурированных выходов vLLM для модели-студента.
  • vllm_server_base_url (str, необязательный) — Базовый URL сервера vLLM (например, "http://localhost:8001"). Если указан, vllm_server_host и vllm_server_port игнорируются.
  • vllm_group_port (int, необязательный, по умолчанию 51216) — Порт для группы обновления весов vLLM (коммутатор NCCL). Если порт свободен, менять его не нужно.
  • vllm_max_model_length (int, необязательный) — Максимальная длина последовательности модели для движка vLLM в режиме colocation, когда vllm_mode="colocate". По умолчанию используется максимальная длина контекста модели.
  • vllm_model_impl (str, необязательный, по умолчанию "vllm") — Бэкенд реализации модели, используемый в vLLM. Используйте "vllm" (по умолчанию) или "transformers".
  • vllm_sync_frequency (int, необязательный, по умолчанию 1) — Частота (в шагах обучения) синхронизации весов модели-ученика с движком vLLM. Установите значение 1, чтобы синхронизировать веса после каждого шага.
  • vllm_enable_sleep_mode (bool, необязательный, по умолчанию False) — Включает режим сна vLLM для выгрузки весов/кэша студента во время шага оптимизатора. Держит использование памяти GPU на низком уровне, но пробуждение движка добавляет задержку на передачу данных между хостом и устройством.

Параметры, управляющие ведением журнала

  • log_completions (bool, необязательный, по умолчанию False) — Определяет, следует ли каждые logging_steps шагов выводить в журнал выборку пар (prompt, completion). Если установлен пакет rich, выборка печатается в консоль. Если включено логирование в wandb, выборка отправляется в wandb.
  • log_completions_steps (int, необязательный, по умолчанию 100) — Количество шагов между записью в журнал пар (prompt, completion). Используется только если log_completions установлено в True.
  • num_completions_to_print (int or None, необязательный) — Количество завершений, которые нужно вывести с помощью rich. Если None, в журнал записываются все завершения.
  • wandb_log_unique_prompts (bool, необязательный, по умолчанию True) — Определяет, следует ли отправлять уникальные промпты в wandb. Для каждого уникального промпта будет создан новый run.
  • callbacks (list[str], необязательный, по умолчанию []) — Список колбэков, которые будут выполняться во время обучения.

Класс конфигурации для experimental.gold.GOLDTrainer.

Этот класс включает только параметры, специфичные для обучения GOLD. Полный список аргументов обучения см. в документации TrainingArguments и SFTConfig.

Эти параметры имеют значения по умолчанию, отличные от TrainingArguments:

  • learning_rate: по умолчанию 1e-7, а не 5e-5.
Update on GitHub