TRL

MergeModelCallback

class trl.experimental.merge_model_callback.MergeModelCallback

( merge_config: MergeConfig | None = Nonemerge_at_every_checkpoint: bool = Falsepush_to_hub: bool = False )

매개변수

merge_config (experimental.merge_model_callback.MergeConfig, 선택 사항) — 병합 프로세스에 사용되는 설정입니다. 제공되지 않으면 기본 MergeConfig가 사용됩니다.
merge_at_every_checkpoint (bool, 선택 사항, 기본값 False) — 각 체크포인트에서 모델을 병합할지 여부.
push_to_hub (bool, 선택 사항, 기본값 False) — 병합 후 병합된 모델을 Hub에 푸시할지 여부.

병합 구성에 따라 정책 모델(학습 중인 모델)을 다른 모델과 병합하는 TrainerCallback입니다.

예:

>>> from trl.experimental.merge_model_callback import MergeConfig, MergeModelCallback

>>> config = MergeConfig()
>>> merge_callback = MergeModelCallback(config)
>>> trainer = DPOTrainer(..., callbacks=[merge_callback])

Update on GitHub