TRL

MergeModelCallback

class trl.experimental.merge_model_callback.MergeModelCallback

( merge_config: MergeConfig | None = Nonemerge_at_every_checkpoint: bool = Falsepush_to_hub: bool = False )

Tham số

merge_config (experimental.merge_model_callback.MergeConfig, tùy chọn) — Cấu hình được sử dụng cho quá trình gộp. Nếu không được cung cấp, cấu hình mặc định MergeConfig sẽ được sử dụng.
merge_at_every_checkpoint (bool, tùy chọn, mặc định là False) — Có nên hợp nhất mô hình ở mỗi checkpoint hay không.
push_to_hub (bool, tùy chọn, mặc định là False) — Có đẩy mô hình đã hợp nhất lên Hub sau khi hợp nhất hay không.

Một TrainerCallback để hợp nhất mô hình chính sách (mô hình đang được huấn luyện) với một mô hình khác dựa trên cấu hình hợp nhất.

Ví dụ:

>>> from trl.experimental.merge_model_callback import MergeConfig, MergeModelCallback

>>> config = MergeConfig()
>>> merge_callback = MergeModelCallback(config)
>>> trainer = DPOTrainer(..., callbacks=[merge_callback])

Update on GitHub