# مدرب DPO

[![All_models-DPO-blue](https://img.shields.io/badge/All_models-DPO-blue)](https://huggingface.co/models?other=dpo,trl) [![smol_course-Chapter_2-yellow](https://img.shields.io/badge/smol_course-Chapter_2-yellow)](https://github.com/huggingface/smol-course/tree/main/2_preference_alignment)

## نظرة عامة

يدعم TRL مُدرّب تحسين التفضيلات المباشرة (DPO) لتدريب نماذج اللغة، كما هو موصوف في ورقة [تحسين التفضيلات المباشرة: نموذج اللغة الخاص بك هو في الحقيقة نموذج مكافأة سرًّا](https://huggingface.co/papers/2305.18290) من تأليف [Rafael Rafailov](https://huggingface.co/rmrafailov)، Archit Sharma، Eric Mitchell، [Stefano Ermon](https://huggingface.co/ermonste)، [Christopher D. Manning](https://huggingface.co/manning)، [Chelsea Finn](https://huggingface.co/cbfinn).

المستخلص من الورقة البحثية هو كالتالي:

> في حين تتعلم نماذج اللغة غير المُشرَّفة واسعة النطاق (LMs) معرفةً عامةً عن العالم وبعض مهارات الاستدلال، فإن تحقيق تحكم دقيق في سلوكها أمرٌ صعب بسبب الطبيعة غير المُشرَّفة بالكامل لتدريبها. تجمع الأساليب الحالية لاكتساب هذه القابلية للتوجيه تسمياتٍ بشريةً لجودة المخرجات النسبية للنموذج، ثم تُعيد ضبط النموذج غير المُشرَّف (LM) ليتوافق مع هذه التفضيلات، وغالبًا باستخدام التعلم المعزز من التغذية الراجعة البشرية (RLHF). ومع ذلك، يُعد RLHF إجراءً معقدًا وغير مستقر في كثير من الأحيان، إذ يقوم أولًا بتهيئة نموذج مكافأة يعكس التفضيلات البشرية، ثم يُعيد ضبط النموذج غير المُشرَّف الكبير باستخدام التعلم المعزز لتعظيم هذه المكافأة المقدَّرة دون الابتعاد كثيرًا عن النموذج الأصلي. في هذه الورقة، نُقدّم ترميزًا جديدًا لنموذج المكافأة في RLHF يتيح استخراج السياسة المثلى المقابلة بشكلٍ مغلق، مما يسمح لنا بحل مشكلة RLHF القياسية باستخدام خسارة تصنيف بسيطة فقط. الخوارزمية الناتجة، التي نُسميها التحسين المباشر للتفضيلات (DPO)، مستقرة وفعالة وخفيفة الحساب، مما يلغي الحاجة إلى أخذ عينات من النموذج اللغوي (LM) أثناء إعادة الضبط أو إجراء ضبط كبير للمعاملات الفائقة. تُظهر تجاربنا أن DPO يمكنه إعادة ضبط نماذج اللغة (LMs) لتتوافق مع التفضيلات البشرية بقدر ما تفعله الأساليب الحالية أو بشكل أفضل. ومن اللافت للنظر أن إعادة الضبط باستخدام DPO يتفوق على RLHF القائم على PPO في القدرة على التحكم في المشاعر في المخرجات، ويتطابق مع جودة الردود أو يحسّنها في تلخيص النصوص والحوار أحادي الجولة، مع كونه أبسط بكثير من حيث التنفيذ والتدريب.

تمت مساهمة طريقة ما بعد التدريب هذه من قِبل [Kashif Rasul](https://huggingface.co/kashif) ثم أعيدت هيكلتها لاحقاً من قِبل [Quentin Gallouédec](https://huggingface.co/qgallouedec).

## البدء السريع

يُظهر هذا المثال كيفية تدريب نموذج لغوي باستخدام [DPOTrainer](/docs/trl/v1.18.1/ar/dpo_trainer#trl.DPOTrainer) من TRL. نقوم بتدريب نموذج [Qwen 3 0.6B](https://huggingface.co/Qwen/Qwen3-0.6B) على [مجموعة بيانات UltraFeedback](https://huggingface.co/datasets/openbmb/UltraFeedback).

```python
from trl import DPOTrainer
from datasets import load_dataset

trainer = DPOTrainer(
    model="Qwen/Qwen3-0.6B",
    train_dataset=load_dataset("trl-lib/ultrafeedback_binarized", split="train"),
)
trainer.train()
```

## نوع وتنسيق مجموعة البيانات المتوقع

يتطلب DPO مجموعة بيانات [تفضيلات](dataset_formats#preference). يتوافق [DPOTrainer](/docs/trl/v1.18.1/ar/dpo_trainer#trl.DPOTrainer) مع كل من صيغ مجموعات البيانات [المعيارية](dataset_formats#standard) و[المحادثة](dataset_formats#conversational). عند تقديم مجموعة بيانات محادثة، سيطبّق المدرب قالب المحادثة على مجموعة البيانات تلقائيًا.

```python
# Standard format
## Explicit prompt (recommended)
preference_example = {"prompt": "The sky is", "chosen": " blue.", "rejected": " green."}
# Implicit prompt
preference_example = {"chosen": "The sky is blue.", "rejected": "The sky is green."}

# Conversational format
## Explicit prompt (recommended)
preference_example = {"prompt": [{"role": "user", "content": "What color is the sky?"}],
                      "chosen": [{"role": "assistant", "content": "It is blue."}],
                      "rejected": [{"role": "assistant", "content": "It is green."}]}
## Implicit prompt
preference_example = {"chosen": [{"role": "user", "content": "What color is the sky?"},
                                 {"role": "assistant", "content": "It is blue."}],
                      "rejected": [{"role": "user", "content": "What color is the sky?"},
                                   {"role": "assistant", "content": "It is green."}]}
```

إذا لم يكن مجموعة بياناتك بأي من هذه الصيغ، يمكنك معالجتها مسبقًا لتحويلها إلى الصيغة المتوقعة. إليك مثال باستخدام مجموعة بيانات [Vezora/Code-Preference-Pairs](https://huggingface.co/datasets/Vezora/Code-Preference-Pairs):

```python
from datasets import load_dataset

dataset = load_dataset("Vezora/Code-Preference-Pairs")

def preprocess_function(example):
    return {
        "prompt": [{"role": "user", "content": example["input"]}],
        "chosen": [{"role": "assistant", "content": example["accepted"]}],
        "rejected": [{"role": "assistant", "content": example["rejected"]}],
    }

dataset = dataset.map(preprocess_function, remove_columns=["instruction", "input", "accepted", "ID"])
print(next(iter(dataset["train"])))
```

```json
{
    "prompt": [{"role": "user", "content": "Create a nested loop to print every combination of numbers [...]"}],
    "chosen": [{"role": "assistant", "content": "Here is an example of a nested loop in Python [...]"}],
    "rejected": [{"role": "assistant", "content": "Here is an example of a nested loop in Python [...]"}],
}
```

## النظر بعمق أكبر في طريقة DPO

تحسين التفضيلات المباشرة (DPO) هو أسلوب تدريب مصمم لمواءمة نموذج اللغة مع بيانات التفضيلات. بدلاً من أزواج المدخلات والمخرجات المُشرَّفة، يُدرَّب النموذج على أزواج من الإكمالات لنفس الموجه، حيث يُفضَّل أحد الإكمالات على الآخر. يهدف هذا الأسلوب إلى تحسين النموذج مباشرةً لتوسيع الهامش بين احتمالات السجل (log-likelihoods) للإكمالات المفضلة وغير المفضلة، مقارنةً بنموذج مرجعي، دون الحاجة إلى نموذج مكافأة صريح. عملياً، يُحقَّق ذلك عادةً عن طريق كبح احتمال الإكمالات غير المفضلة بدلاً من زيادة احتمال الإكمالات المفضلة.

تفصّل هذه القسم آلية عمل DPO عملياً، مع تغطية الخطوات الأساسية: **المعالجة المسبقة** و**حساب الدالة الخاسرة**.

### المعالجة المسبقة والتجزئة

أثناء التدريب، يُتوقع أن يحتوي كل مثال على موجه (prompt) إلى جانب إكمال مفضل (`chosen`) وإكمال غير مفضل (`rejected`). لمزيد من التفاصيل حول الصيغ المتوقعة، راجع [صيغ مجموعات البيانات](dataset_formats). يقوم [DPOTrainer](/docs/trl/v1.18.1/ar/dpo_trainer#trl.DPOTrainer) بتجزئة كل مدخل باستخدام مجزئة النموذج.

### حساب الخسارة

![dpo_figure](https://huggingface.co/datasets/trl-lib/documentation-images/resolve/main/dpo_figure.png)

يُعرَّف الخسارة المستخدمة في DPO على النحو التالي: $$ \mathcal{L}_{\mathrm{DPO}}(\theta) = -\mathbb{E}_{(x,y^{+},y^{-})}\!\left[\log \sigma\!\left(\beta\Big(\log\frac{\pi_{\theta}(y^{+}\!\mid x)}{\pi_{\mathrm{ref}}(y^{+}\!\mid x)}-\log \frac{\pi_{\theta}(y^{-}\!\mid x)}{\pi_{\mathrm{ref}}(y^{-}\!\mid x)}\Big)\right)\right] $$

حيث  \\( x \\)  هو الأمر، و \\( y^+ \\) هو الإكمال المفضل، و \\( y^- \\)  هو الإكمال غير المفضل.  \\( \pi_{\theta} \\)  هو نموذج السياسة قيد التدريب، و \\( \pi_{\mathrm{ref}} \\)  هو نموذج المرجع، و \\( \sigma \\)  هي دالة سيجمويد، و \\( \beta > 0 \\)  هو معامل فائق يتحكم في قوة إشارة التفضيل.

#### أنواع الدالة

قُدِّمَت عدة صيغ للدالة الهدف في الأدبيات. في البداية، عُرِّفت دالة الهدف لـ DPO كما هو مبيَّن أعلاه.

| `loss_type=` | الوصف |
| --- | --- |
| `"sigmoid"` (الافتراضي) | بناءً على بيانات التفضيل، يمكننا ملاءمة مُصنِّف ثنائي وفقاً لنموذج برادلي-تيري، ويقترح مؤلفو [DPO](https://huggingface.co/papers/2305.18290) في الواقع استخدام خسارة سيجمويد على الاحتمال المعياري عبر `logsigmoid` لملاءمة انحدار لوجستي. |
| `"hinge"` | يقترح مؤلفو [RSO](https://huggingface.co/papers/2309.06657) استخدام خسارة المفصلة (hinge loss) على الاحتمالية المعيارية من ورقة [SLiC](https://huggingface.co/papers/2305.10425). في هذه الحالة، يكون `beta` هو مقلوب الهامش. |
| `"ipo"` | يُجادل مؤلفو [IPO](https://huggingface.co/papers/2310.12036) بأن تحويل اللوغيت قد يؤدي إلى الإفراط في التخصيص، ويقترحون تحويل الهوية لتحسين التفضيلات مباشرةً؛ وتُتيح TRL ذلك عبر `loss_type="ipo"`. |
| `"exo_pair"` | يقترح مؤلفو [EXO](https://huggingface.co/papers/2402.00856) تحسين التفضيلات باستخدام KL العكسي. يجب أن يكون `label_smoothing` أكبر بصرامة من `0.0`؛ والقيمة الموصى بها هي `1e-3` (انظر المعادلة 16 للمتغير الزوجي المبسّط). يستخدم المنهج الكامل `K>2` من إكمالات SFT، ويقترب من PPO كلما زاد `K`. |
| `"nca_pair"` | يُظهر مؤلفو [NCA](https://huggingface.co/papers/2402.05369) أن NCA يحسّن الاحتمالية المطلقة لكل استجابة بدلاً من الاحتمالية النسبية. |
| `"robust"` | يقترح مؤلفو [Robust DPO](https://huggingface.co/papers/2403.00409) خسارة DPO غير منحازة في ظل تفضيلات ضجيجية. استخدم `label_smoothing` في [DPOConfig](/docs/trl/v1.18.1/ar/dpo_trainer#trl.DPOConfig) لنمذجة احتمال قلب التسمية؛ القيم الصالحة تقع في المدى `[0.0, 0.5)`. |
| `"bco_pair"` | يدرّب مؤلفو [BCO](https://huggingface.co/papers/2404.04656) مصنفًا ثنائيًا تُستخدم قيمته اللوجستية (logit) كمكافأة، بحيث يُخضع المصنف أزواج {الموجّه، الإكمال المختار} إلى القيمة 1 وأزواج {الموجّه، الإكمال المرفوض} إلى القيمة 0. |
| `"sppo_hard"` | يدّعي مؤلفو [SPPO](https://huggingface.co/papers/2405.00675) أن SPPO قادر على حل توازن ناش بشكل تكراري من خلال دفع المكافآت المختارة لتكون كبيرة قدر الإمكان حتى 1/2 والمكافآت المرفوضة لتكون صغيرة قدر الإمكان حتى -1/2، ويمكنه التخفيف من مشاكل ندرة البيانات. تقرب هذه الخوارزمية في التنفيذ من خلال استخدام احتمالات التسميات الصلبة، حيث تُسند القيمة 1 للفائز و0 للخاسر. |
| `"aot"` أو `loss_type="aot_unpaired"` | يقترح مؤلفو [AOT](https://huggingface.co/papers/2406.05882) محاذاة التفضيلات التوزيعية عبر النقل الأمثل. يُستخدم `loss_type="aot"` للبيانات المزدوجة، بينما يُستخدم `loss_type="aot_unpaired"` للبيانات غير المزدوجة. كلاهما يفرض الهيمنة العشوائية عبر الكمات المرتبة، ويساهم حجم الدفعة الأكبر لكل وحدة معالجة رسومية في تحسين الأداء. |
| `"apo_zero"` أو `loss_type="apo_down"` | تُقدّم طريقة [APO](https://huggingface.co/papers/2408.06266) هدفًا مُثبَّتًا. يعزّز `apo_zero` الفائزين ويقلّل وزن الخاسرين (مفيد عندما يكون أداء النموذج أقل من أداء الفائزين). يقلّل `apo_down` وزن كلاهما، مع ضغط أقوى على الخاسرين (مفيد عندما يتفوق النموذج بالفعل على الفائزين). |
| `"discopop"` | يستخدم ورق [DiscoPOP](https://huggingface.co/papers/2406.08414) نماذج اللغة الكبيرة (LLMs) لاكتشاف خسائر تحسين التفضيلات غير المتصلة (offline) أكثر كفاءة. في الورقة، تفوقت خسارة DiscoPOP المقترحة (وهي خسارة مُعدَّلة بنسبة لوغاريتمية) على خسائر التحسين الأخرى في مهام مختلفة (توليد نصوص إيجابية من IMDb، وتلخيص TLDR من Reddit، وAlpaca Eval 2.0). |
| `"sft"` | خسارة SFT (Supervised Fine-Tuning) هي خسارة الاحتمالية السالبة (negative log likelihood)، وتُستخدم لتدريب النموذج على توليد الردود المفضلة. |
| `"sigmoid_norm"` | يعالج مؤلفو [SimPO](https://huggingface.co/papers/2405.14734) انحياز الطول في دالة الخسارة الأصلية من نوع سيجمويد من خلال التطبيع على عدد الرموز غير المقنّعة؛ وتتيح TRL ذلك عبر `loss_type="sigmoid_norm"`. |
| `"udpo"` | يقترح مؤلفو [UDPO](https://huggingface.co/papers/2607.03248) خسارة DPO غير منحازة في ظل تفضيلات ضجيجية، على عكس `"robust"`، حيث تبقى غير منحازة عندما يُقدَّر احتمال الانقلاب بشكل مفرط. استخدم `label_smoothing` في [DPOConfig](/docs/trl/v1.18.1/ar/dpo_trainer#trl.DPOConfig) لضبط احتمال الانقلاب ε؛ والقيم الصالحة تقع ضمن المدى `[0.0, 0.5)`. |

## المقاييس المسجّلة

أثناء التدريب والتقييم، نسجّل المقاييس التالية:

- `global_step`: إجمالي عدد خطوات المُحسِّن التي تم اتخاذها حتى الآن.
- `epoch`: رقم الحقبة الحالية، بناءً على تكرار مجموعة البيانات.
- `num_tokens`: إجمالي عدد الرموز التي تمت معالجتها حتى الآن.
- `loss`: متوسط خسارة DPO خلال فترة التسجيل الحالية.
- `entropy`: متوسط إنتروبيا توزيع الرموز المتوقعة من النموذج على الرموز غير المقنّعة.
- `aux_loss`: خسارة التوازن على الأحمال المساعدة لنموذج مزيج الخبراء، قبل أن تُضرب في `router_aux_loss_coef` وتُضاف إلى الخسارة. تُسجَّل فقط عندما يكون النموذج من نوع MoE و`router_aux_loss_coef` غير صفري.
- `mean_token_accuracy`: نسبة الرموز غير المقنّعة التي تتطابق فيها التنبؤ الأول (top-1) للنموذج مع الرمز من الإكمال المختار.
- `learning_rate`: معدل التعلم الحالي، والذي قد يتغير ديناميكيًا إذا تم استخدام مُجدوِل.
- `grad_norm`: معيار L2 للتدرجات، يُحسب قبل اقتطاع التدرجات.
- `logits/chosen`: متوسط قيم اللوغيت التي يخصصها النموذج للرموز في الإكمال المختار.
- `logits/rejected`: متوسط قيم اللوغيت التي يخصصها النموذج للرموز في الإكمال المرفوض.
- `logps/chosen`: متوسط الاحتمال اللوغاريتمي الذي يسنده النموذج للرموز في الإكمال المختار.
- `logps/rejected`: متوسط الاحتمال اللوغاريتمي الذي يسنده النموذج للرموز في الإكمال المرفوض.
- `rewards/chosen`: متوسط المكافأة الضمنية المحسوبة للإكمال المختار، حيث تُحسب على النحو التالي: \\( \beta \log \frac{\pi_{\theta}(y^{+}\!\mid x)}{\pi_{\mathrm{ref}}(y^{+}\!\mid x)} \\).
- `rewards/rejected`: متوسط المكافأة الضمنية المحسوبة للإكمال المرفوض، حيث تُحسب على النحو التالي: \\( \beta \log \frac{\pi_{\theta}(y^{-}\!\mid x)}{\pi_{\mathrm{ref}}(y^{-}\!\mid x)} \\).
- `rewards/margins`: متوسط هامش المكافأة الضمني بين الإكمالات المختارة والمرفوضة.
- `rewards/accuracies`: نسبة الأمثلة التي يكون فيها المكافأة الضمنية للإكمال المختار أعلى من تلك الخاصة بالإكمال المرفوض.

## التخصيص

### التوافق والقيود

بعض تركيبات المعاملات مقيدة عمداً في تطبيق [DPOTrainer](/docs/trl/v1.18.1/ar/dpo_trainer#trl.DPOTrainer) الحالي:

- `use_weighting=True` غير مدعوم مع `loss_type="aot"` أو `loss_type="aot_unpaired"`.
- لا يتم دعم محولات PEFT المستهدفة `lm_head` (استخدم `modules_to_save=["lm_head"]` بدلاً من ذلك).
- `sync_ref_model=True` غير مدعوم عند التدريب باستخدام نماذج PEFT التي لا تحتفظ بنموذج مرجعي مستقل `ref_model`.
- لا يمكن الجمع بين `sync_ref_model=True` و`precompute_ref_log_probs=True`.
- `precompute_ref_log_probs=True` غير مدعوم مع `IterableDataset` (سواء للتدريب أو التقييم).

### توليفات الخسارة المتعددة

يدعم مُدرّب DPO دمج دوال خسارة متعددة بأوزان مختلفة، مما يتيح استراتيجيات تحسين أكثر تعقيدًا. وهذا مفيد بشكل خاص لتنفيذ خوارزميات مثل MPO (تحسين التفضيل المختلط). يُعد MPO نهجًا للتدريب يجمع بين أهداف تحسين متعددة، كما هو موضح في ورقة [Enhancing the Reasoning Ability of Multimodal Large Language Models via Mixed Preference Optimization](https://huggingface.co/papers/2411.10442).

لدمج عدة دوال خسارة، حدد أنواع الخسارة والأوزان المقابلة لها كقوائم:

```python
# MPO: Combines DPO (sigmoid) for preference and BCO (bco_pair) for quality
training_args = DPOConfig(
    loss_type=["sigmoid", "bco_pair", "sft"],  # loss types to combine
    loss_weights=[0.8, 0.2, 1.0]  # corresponding weights, as used in the MPO paper
)
```

### تهيئة النموذج

يمكنك تمرير معاملات `from_pretrained()` مباشرة إلى [DPOConfig](/docs/trl/v1.18.1/ar/dpo_trainer#trl.DPOConfig). على سبيل المثال، إذا كنت ترغب في تحميل نموذج بدقة مختلفة، على غرار

```python
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3-0.6B", dtype=torch.bfloat16)
```

يمكنك القيام بذلك عن طريق تمرير الحجة `model_init_kwargs={"dtype": torch.bfloat16}` إلى [DPOConfig](/docs/trl/v1.18.1/ar/dpo_trainer#trl.DPOConfig).

```python
from trl import DPOConfig

training_args = DPOConfig(
    model_init_kwargs={"dtype": torch.bfloat16},
)
```

لاحظ أن جميع معاملات الكلمات المفتاحية لـ `from_pretrained()` مدعومة.

### تدريب المحوِّلات باستخدام PEFT

ندعم التكامل الوثيق مع مكتبة 🤗 PEFT، مما يتيح لأي مستخدم تدريب المحوِّلات (adapters) ومشاركتها على Hub بسهولة، بدلاً من تدريب النموذج بأكمله.

```python
from datasets import load_dataset
from trl import DPOTrainer
from peft import LoraConfig

dataset = load_dataset("trl-lib/ultrafeedback_binarized", split="train")

trainer = DPOTrainer(
    "Qwen/Qwen3-0.6B",
    train_dataset=dataset,
    peft_config=LoraConfig(),
)

trainer.train()
```

يمكنك أيضًا مواصلة تدريب `PeftModel`. لذلك، قم أولًا بتحميل `PeftModel` خارج [DPOTrainer](/docs/trl/v1.18.1/ar/dpo_trainer#trl.DPOTrainer) ثم مرّره مباشرةً إلى المدرب دون تمرير معامل `peft_config`.

```python
from datasets import load_dataset
from trl import DPOTrainer
from peft import AutoPeftModelForCausalLM

model = AutoPeftModelForCausalLM.from_pretrained("trl-lib/Qwen3-4B-LoRA", is_trainable=True)
dataset = load_dataset("trl-lib/ultrafeedback_binarized", split="train")

trainer = DPOTrainer(
    model=model,
    train_dataset=dataset,
)

trainer.train()
```

> [!TIP]
> عند تدريب المُكيِّفات (adapters)، تستخدم عادةً معدل تعلّم أعلى (≈1e‑5) مقارنةً بالتحسين الكامل (full fine-tuning)، لأن المعلمات الجديدة فقط هي التي يتم تعلّمها.
>
> ```python
> DPOConfig(learning_rate=1e-5, ...)
> ```

### التجارب السريعة لـ DPO

RapidFire AI هو محرك تجارب مفتوح المصدر يعمل فوق TRL ويتيح لك إطلاق عدة تكوينات DPO في وقت واحد، حتى على وحدة معالجة رسومية واحدة. بدلاً من تجربة التكوينات بشكل تسلسلي، يتيح لك RapidFire **رؤية منحنيات التعلم الخاصة بها جميعاً في وقت أبكر، وإيقاف التشغيلات ذات الأداء الضعيف، ونسخ الواعدة منها بإعدادات جديدة أثناء التنفيذ** دون إعادة التشغيل. لمزيد من المعلومات، راجع [تكامل RapidFire AI](rapidfire_integration).

### التدريب باستخدام Unsloth

يُعدّ Unsloth إطار عمل مفتوح المصدر للضبط الدقيق والتعلم المعزز، يدرّب نماذج اللغة الكبيرة (مثل Llama وMistral وGemma وDeepSeek وغيرها) بسرعة تصل إلى ضعف السرعة مع تقليل ذاكرة VRAM بنسبة تصل إلى 70%، مع توفير سير عمل مبسّط ومتوافق مع Hugging Face للتدريب والتقييم والنشر. لمزيد من المعلومات، راجع [تكامل Unsloth](unsloth_integration).

## استدعاء الأدوات مع DPO

يدعم [DPOTrainer](/docs/trl/v1.18.1/ar/dpo_trainer#trl.DPOTrainer) بشكل كامل ضبط نماذج تحتوي على قدرات _tool calling_. في هذه الحالة، يجب أن يتضمن كل مثال في مجموعة البيانات:

- رسائل المحادثة (الموجّه، والمختار، والمرفوض)، بما في ذلك أي استدعاءات للأدوات (`tool_calls`) وردود الأدوات (رسائل الدور `tool`)
- قائمة الأدوات المتاحة في عمود `tools`، والتي تُقدَّم عادةً كمخططات JSON

لمزيد من التفاصيل حول بنية مجموعة البيانات المتوقعة، راجع قسم [Dataset Format — Tool Calling](dataset_formats#tool-calling).

## تدريب نماذج اللغة البصرية

يدعم [DPOTrainer](/docs/trl/v1.18.1/ar/dpo_trainer#trl.DPOTrainer) بشكل كامل تدريب نماذج الرؤية واللغة (VLMs). لتدريب نموذج VLM، قدّم مجموعة بيانات تحتوي إما على عمود `image` (صورة واحدة لكل عينة) أو عمود `images` (قائمة من الصور لكل عينة). لمزيد من المعلومات حول بنية مجموعة البيانات المتوقعة، راجع قسم [Dataset Format — Vision Dataset](dataset_formats#vision-dataset). مثال على مثل هذه المجموعة هو مجموعة [RLAIF-V Dataset](https://huggingface.co/datasets/HuggingFaceH4/rlaif-v_formatted).

```python
from trl import DPOConfig, DPOTrainer
from datasets import load_dataset

trainer = DPOTrainer(
    model="Qwen/Qwen2.5-VL-3B-Instruct",
    args=DPOConfig(max_length=None),
    train_dataset=load_dataset("HuggingFaceH4/rlaif-v_formatted", split="train"),
)
trainer.train()
```

> [!TIP]
> بالنسبة لنماذج الرؤية-اللغة (VLMs)، قد يؤدي التقصير إلى إزالة رموز الصور، مما يسبب أخطاء أثناء التدريب. لتجنب ذلك، اضبط `max_length=None` في [DPOConfig](/docs/trl/v1.18.1/ar/dpo_trainer#trl.DPOConfig). هذا يتيح للنموذج معالجة طول التسلسل الكامل دون تقصير رموز الصور.
>
> ```python
> DPOConfig(max_length=None, ...)
> ```
>
> استخدم `max_length` فقط بعد أن تتأكد من أن القصّ لن يُزيل رموز الصور في كامل مجموعة البيانات.

## DPOTrainer[[trl.DPOTrainer]]

#### trl.DPOTrainer[[trl.DPOTrainer]]

```python
trl.DPOTrainer(model: str | PreTrainedModel | PeftModel, ref_model: transformers.modeling_utils.PreTrainedModel | None = None, args: trl.trainer.dpo_config.DPOConfig | None = None, data_collator: collections.abc.Callable[[list[typing.Any]], dict[str, typing.Any]] | None = None, train_dataset: datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset | None = None, eval_dataset: datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset | datasets.dataset_dict.DatasetDict | datasets.dataset_dict.IterableDatasetDict | dict[str, datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset] | None = None, processing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | transformers.processing_utils.ProcessorMixin | None = None, compute_metrics: collections.abc.Callable[[transformers.trainer_utils.EvalPrediction], dict] | None = None, callbacks: list[transformers.trainer_callback.TrainerCallback] | None = None, optimizers: tuple[typing.Optional[torch.optim.Optimizer], typing.Optional[torch.optim.lr_scheduler.LambdaLR]] = (None, None), quantization_config: BitsAndBytesConfig | None = None, peft_config: PeftConfig | None = None)
```

[المصدر](https://github.com/huggingface/trl/blob/v1.18.1/trl/trainer/dpo_trainer.py#L407)

**المعاملات:**

model (`str` أو [PreTrainedModel](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/model#transformers.PreTrainedModel) أو `PeftModel`) : النموذج المراد تدريبه. يمكن أن يكون: - نصًا، وهو *معرف النموذج* لنموذج مُدرَّب مسبقًا مستضاف داخل مستودع نماذج على huggingface.co، أو مسارًا إلى *مجلد* يحتوي على أوزان النموذج المحفوظة باستخدام [save_pretrained](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/model#transformers.PreTrainedModel.save_pretrained)، مثل `'./my_model_directory/'`. يتم تحميل النموذج باستخدام `<ModelArchitecture>.from_pretrained` (حيث يُشتق `<ModelArchitecture>` من إعدادات النموذج) مع حُجج الكلمات المفتاحية الموجودة في `args.model_init_kwargs`. إذا لم يُحدد `dtype` في `args.model_init_kwargs`، فإن القيمة الافتراضية هي `float32`. وهذا يختلف عن [from_pretrained](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/model#transformers.PreTrainedModel.from_pretrained)، حيث (منذ Transformers v5) يُستنتج نوع البيانات من إعدادات النموذج. - كائن [PreTrainedModel](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/model#transformers.PreTrainedModel). يتم دعم نماذج اللغة السببية فقط. - كائن `PeftModel`. يتم دعم نماذج اللغة السببية فقط.

ref_model ([PreTrainedModel](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/model#transformers.PreTrainedModel)، *اختياري*) : نموذج مرجعي يُستخدم لحساب الاحتمالات اللوغاريتمية المرجعية. - إذا تم توفيره، يُستخدم هذا النموذج مباشرةً كسياسة مرجعية. لا يمكن أن يكون `PeftModel`. - إذا كان `None`، سيقوم المدرب تلقائيًا باستخدام السياسة الأولية المقابلة لـ `model`، أي حالة النموذج قبل بدء تدريب DPO.

args ([DPOConfig](/docs/trl/v1.18.1/ar/dpo_trainer#trl.DPOConfig)، *اختياري*) : إعدادات لهذا المدرب. إذا كانت `None`، يتم استخدام إعداد افتراضي.

data_collator (`DataCollator`، *اختياري*) : الدالة المستخدمة لتكوين دفعة (batch) من قائمة عناصر مجموعة البيانات `train_dataset` أو `eval_dataset` بعد المعالجة. سيُستخدم `DataCollatorForPreference` افتراضيًا إذا كان النموذج نموذج لغة، و`DataCollatorForVisionPreference` إذا كان النموذج نموذج لغة-رؤية. يجب على مُجمِّعات البيانات المخصصة تقصير التسلسلات قبل إضافة الحشو (padding)؛ إذ لا يطبّق المدرب تقصيرًا بعد التجميع.

train_dataset ([Dataset](https://huggingface.co/docs/datasets/v5.2.0/en/package_reference/main_classes#datasets.Dataset) أو [IterableDataset](https://huggingface.co/docs/datasets/v5.2.0/en/package_reference/main_classes#datasets.IterableDataset)) : مجموعة البيانات المستخدمة للتدريب. يدعم هذا المدرب كلا النوعين: [نمذجة اللغة](#language-modeling) و[الموجّه-الإكمال](#prompt-completion). يمكن أن يكون تنسيق العينات إما: - [قياسي](dataset_formats#standard): تحتوي كل عينة على نص عادي. - [حواري](dataset_formats#conversational): تحتوي كل عينة على رسائل منظمة (مثل الدور والمحتوى). عندما تكون `train_dataset` من نوع [IterableDataset](https://huggingface.co/docs/datasets/v5.2.0/en/package_reference/main_classes#datasets.IterableDataset) (مثل مجموعة بيانات متدفقة)، يجب تعيين `max_steps` في حُجج التدريب، لأن طولها لا يمكن استنتاجه، ويُطلب إجمالي عدد خطوات التدريب لتحديد نطاق حلقة التدريب وإعداد مجدول معدل التعلم.

eval_dataset ([Dataset](https://huggingface.co/docs/datasets/v5.2.0/en/package_reference/main_classes#datasets.Dataset) أو [IterableDataset](https://huggingface.co/docs/datasets/v5.2.0/en/package_reference/main_classes#datasets.IterableDataset) أو [DatasetDict](https://huggingface.co/docs/datasets/v5.2.0/en/package_reference/main_classes#datasets.DatasetDict) أو [IterableDatasetDict](https://huggingface.co/docs/datasets/v5.2.0/en/package_reference/main_classes#datasets.IterableDatasetDict) أو `dict[str, Dataset | IterableDataset]`) : مجموعة البيانات المستخدمة للتقييم. يجب أن تستوفي نفس المتطلبات التي تستوفيها `train_dataset`.

processing_class ([PreTrainedTokenizerBase](https://huggingface.co/docs/transformers/v5.23.0/en/internal/tokenization_utils#transformers.PreTrainedTokenizerBase) أو [ProcessorMixin](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/processors#transformers.ProcessorMixin)، *اختياري*) : فئة المعالجة المستخدمة لمعالجة البيانات. يجب ضبط جانب الحشو على "left". إذا كانت `None`، يتم تحميل فئة المعالجة من اسم النموذج باستخدام [from_pretrained](https://huggingface.co/docs/transformers/v5.23.0/en/model_doc/auto#transformers.AutoProcessor.from_pretrained). يجب ضبط رمز الحشو، `tokenizer.pad_token`. إذا لم تضبط فئة المعالجة رمز الحشو، سيتم استخدام `tokenizer.eos_token` كقيمة افتراضية.

compute_metrics (`Callable[[EvalPrediction], dict]`، *اختياري*) : الدالة التي ستُستخدم لحساب المقاييس أثناء التقييم. يجب أن تستقبل [EvalPrediction](https://huggingface.co/docs/transformers/v5.23.0/en/internal/trainer_utils#transformers.EvalPrediction) وتعيد قاموسًا من السلاسل النصية إلى قيم المقاييس. عند تمرير [SFTConfig](/docs/trl/v1.18.1/ar/sft_trainer#trl.SFTConfig) مع ضبط `batch_eval_metrics` على `True`، يجب أن تستقبل دالة `compute_metrics` الخاصة بك معاملًا من نوع `compute_result` من النوع المنطقي. سيُستدعى هذا بعد آخر دفعة تقييم للإشارة إلى أن الدالة بحاجة إلى حساب وإحصاءات الملخصات العامة وإعادتها بدلاً من تراكم إحصاءات مستوى الدفعة. القيم اللوجستية التي تستقبلها تُعاد حسابها عبر تمريرة أمامية إضافية. هذا الأمر غير مدعوم وسيُزال في الإصدار v2.0.0.

callbacks (قائمة من [TrainerCallback](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/callback#transformers.TrainerCallback)، *اختياري*) : قائمة من الاستدعاءات المخصصة لتخصيص حلقة التدريب. ستُضاف هذه الاستدعاءات إلى قائمة الاستدعاءات الافتراضية المفصّلة في [هنا](https://huggingface.co/docs/transformers/main_classes/callback). إذا كنت ترغب في إزالة أحد الاستدعاءات الافتراضية المستخدمة، فاستخدم طريقة [remove_callback](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/trainer#transformers.Trainer.remove_callback).

optimizers (`tuple[torch.optim.Optimizer | None, torch.optim.lr_scheduler.LambdaLR | None]`، *اختياري*، القيمة الافتراضية `(None, None)`) : مجموعة (tuple) تحتوي على المُحسِّن (optimizer) والمُجدوِل (scheduler) المطلوبين للاستخدام. ستكون القيمة الافتراضية هي نسخة من `AdamW` على نموذجك ومُجدوِل يُعطى بواسطة [get_linear_schedule_with_warmup](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/optimizer_schedules#transformers.get_linear_schedule_with_warmup) ويُتحكم به عبر `args`.

quantization_config ([BitsAndBytesConfig](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/quantization#transformers.BitsAndBytesConfig)، *اختياري*) : إعدادات التكميم المستخدمة عند تحميل النموذج من معرّف النموذج. ادمجها مع `peft_config` لتدريب QLoRA. يتم تجاهلها إذا كان النموذج مُنشأً بالفعل.

peft_config (`PeftConfig`، *اختياري*) : إعدادات PEFT المستخدمة لتغليف النموذج. إذا كانت `None`، فلن يتم تغليف النموذج.

مدرب لطريقة التحسين حسب التفضيلات المباشرة (DPO). تم اقتراح هذه الخوارزمية في الأصل في ورقة [التحسين حسب التفضيلات المباشرة: نموذج اللغة الخاص بك هو في الحقيقة نموذج مكافأة](https://huggingface.co/papers/2305.18290). هذه الفئة هي غلاف حول فئة [Trainer](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/trainer#transformers.Trainer) وتورث جميع خصائصها وطرقها.

مثال:

```python
>>> from trl import DPOTrainer
>>> from datasets import load_dataset

>>> dataset = load_dataset("trl-lib/ultrafeedback_binarized", split="train")

>>> trainer = DPOTrainer(
...     model="Qwen/Qwen2.5-0.5B-Instruct",
...     train_dataset=dataset,
... )
>>> trainer.train()
```

#### train[[trl.DPOTrainer.train]]

```python
train(resume_from_checkpoint: str | bool | None = None, trial: optuna.Trial | dict[str, Any] | None = None, ignore_keys_for_eval: list[str] | None = None)
```

[المصدر](https://github.com/huggingface/trl/blob/v1.18.1/transformers/trainer.py#L1450)

**المعاملات:**

resume_from_checkpoint (`str` أو `bool`، *اختياري*) : إذا كان `str`، فهو المسار المحلي لنقطة تحقق محفوظة بواسطة نسخة سابقة من `Trainer`. إذا كان `bool` ويساوي `True`، يتم تحميل آخر نقطة تحقق في *args.output_dir* كما حفظتها نسخة سابقة من `Trainer`. إذا كانت موجودة، فسيستأنف التدريب من حالات النموذج/المُحسِّن/المُجدوِل المحمَّلة هنا.

trial (`optuna.Trial` أو `dict[str, Any]`، *اختياري*) : الجولة التجريبية أو قاموس معاملات الضبط للبحث في معاملات الضبط.

ignore_keys_for_eval (`list[str]`، *اختياري*) : قائمة بمفاتيح في مخرجات نموذجك (إذا كان قاموسًا) يجب تجاهلها عند جمع التوقعات للتقييم أثناء التدريب.

**يعيد:** `~trainer_utils.TrainOutput`

كائن يحتوي على عدد الخطوات العالمية، وخسارة التدريب، والمقاييس.

نقطة الدخول الرئيسية للتدريب.

#### save_model[[trl.DPOTrainer.save_model]]

```python
save_model(output_dir: str | None = None, _internal_call: bool = False)
```

[المصدر](https://github.com/huggingface/trl/blob/v1.18.1/transformers/trainer.py#L4077)

سيحفظ النموذج، بحيث يمكنك إعادة تحميله باستخدام `from_pretrained()`.

سيتم الحفظ من العملية الرئيسية فقط.

#### push_to_hub[[trl.DPOTrainer.push_to_hub]]

```python
push_to_hub(commit_message: str | None = 'End of training', blocking: bool = True, token: str | None = None, revision: str | None = None, private: bool | None = None, **kwargs)
```

[المصدر](https://github.com/huggingface/trl/blob/v1.18.1/transformers/trainer.py#L4337)

**المعاملات:**

commit_message (`str`، *اختياري*، القيمة الافتراضية `"End of training"`) : الرسالة التي سيتم الالتزام بها أثناء الدفع.

blocking (`bool`، *اختياري*، القيمة الافتراضية `True`) : ما إذا كان ينبغي للوظيفة أن تُرجع القيمة فقط بعد اكتمال `git push`.

token (`str`، *اختياري*، القيمة الافتراضية `None`) : رمز (Token) يملك صلاحية الكتابة لتجاوز الحجج الأصلية الخاصة بـ Trainer.

revision (`str`، *اختياري*) : المراجعة (revision) في git التي سيتم الالتزام منها. الافتراضي هو رأس فرع "main".

private (`bool`, *اختياري*) : ما إذا كان يجب جعل المستودع خاصًا عند إنشائه. القيمة الافتراضية هي `args.hub_private_repo`. لا يؤثر هذا الإعداد إذا كان المستودع موجودًا مسبقًا.

kwargs (`dict[str, Any]`، *اختياري*) : حُجج إضافية تُمرَّر إلى `~Trainer.create_model_card`.

**يعيد:**

عنوان URL للمستودع الذي تم دفع النموذج إليه إذا كان `blocking=False`، أو كائن `Future` يتتبع تقدم عملية الالتزام إذا كان `blocking=True`.

ارفع `self.model` و`self.processing_class` إلى مركز النماذج 🤗 في المستودع `self.args.hub_model_id`.

## DPOConfig[[trl.DPOConfig]]

#### trl.DPOConfig[[trl.DPOConfig]]

```python
trl.DPOConfig(output_dir: str | None = None, per_device_train_batch_size: int = 8, num_train_epochs: float = 3.0, max_steps: int = -1, learning_rate: float = 1e-06, lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear', lr_scheduler_kwargs: dict | str | None = None, warmup_steps: float = 0, optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused', optim_args: str | None = None, weight_decay: float = 0.0, adam_beta1: float = 0.9, adam_beta2: float = 0.999, adam_epsilon: float = 1e-08, optim_target_modules: None | str | list[str] = None, gradient_accumulation_steps: int = 1, average_tokens_across_devices: bool = True, max_grad_norm: float = 1.0, label_smoothing_factor: float = 0.0, bf16: bool | None = None, fp16: bool = False, bf16_full_eval: bool = False, fp16_full_eval: bool = False, tf32: bool | None = None, activation_checkpointing: bool | None = None, activation_checkpointing_kwargs: dict[str, typing.Any] | str | None = None, gradient_checkpointing: bool | None = None, gradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = None, torch_compile: bool = False, torch_compile_backend: str | None = None, torch_compile_mode: str | None = None, use_liger_kernel: bool = False, liger_kernel_config: dict[str, bool] | None = None, use_cache: bool = False, neftune_noise_alpha: float | None = None, torch_empty_cache_steps: int | None = None, auto_find_batch_size: bool = False, logging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps', logging_steps: float = 10, logging_first_step: bool = False, log_on_each_node: bool = True, logging_nan_inf_filter: bool = True, include_num_input_tokens_seen: str | bool = 'no', log_level: str = 'passive', log_level_replica: str = 'warning', disable_tqdm: bool | None = None, report_to: None | str | list[str] = 'none', run_name: str | None = None, project: str = 'huggingface', trackio_space_id: str | None = None, trackio_bucket_id: str | None = None, trackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = None, eval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no', eval_steps: float | None = None, eval_delay: float = 0, per_device_eval_batch_size: int = 8, prediction_loss_only: bool = False, eval_on_start: bool = False, eval_do_concat_batches: bool = True, eval_use_gather_object: bool = False, eval_accumulation_steps: int | None = None, include_for_metrics: list[str] = <factory>, batch_eval_metrics: bool = False, save_only_model: bool = False, save_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps', save_steps: float = 500, save_on_each_node: bool = False, save_total_limit: int | None = None, enable_jit_checkpoint: bool = False, push_to_hub: bool = False, hub_token: str | None = None, hub_private_repo: bool | None = None, hub_model_id: str | None = None, hub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save', hub_always_push: bool = False, hub_revision: str | None = None, load_best_model_at_end: bool = False, metric_for_best_model: str | None = None, greater_is_better: bool | None = None, ignore_data_skip: bool = False, restore_callback_states_from_checkpoint: bool = False, full_determinism: bool = False, seed: int = 42, data_seed: int | None = None, use_cpu: bool = False, accelerator_config: dict | str | None = None, parallelism_config: accelerate.parallelism_config.ParallelismConfig | None = None, dataloader_drop_last: bool = False, dataloader_num_workers: int = 0, dataloader_pin_memory: bool = True, dataloader_persistent_workers: bool = False, dataloader_prefetch_factor: int | None = None, dataloader_multiprocessing_context: str | None = None, dataloader_in_order: bool = True, remove_unused_columns: bool = True, label_names: list[str] | None = None, train_sampling_strategy: str = 'random', length_column_name: str = 'length', ddp_find_unused_parameters: bool | None = None, ddp_bucket_cap_mb: int | None = None, ddp_broadcast_buffers: bool | None = None, ddp_static_graph: bool | None = None, ddp_backend: str | None = None, ddp_timeout: int = 1800, fsdp: str | None = None, fsdp_config: dict[str, typing.Any] | str | None = None, deepspeed: dict | str | None = None, debug: str | list[transformers.debug_utils.DebugOption] = '', skip_memory_metrics: bool = True, do_train: bool = False, do_eval: bool = False, do_predict: bool = False, resume_from_checkpoint: str | None = None, local_rank: int = -1, model_init_kwargs: dict[str, typing.Any] | str | None = None, trust_remote_code: bool = False, router_aux_loss_coef: float | None = None, disable_dropout: bool = True, dataset_num_proc: int | None = None, max_length: int | None = 1024, truncation_mode: str = 'keep_start', padding_free: bool = False, pad_to_multiple_of: int | str | None = 'auto', precompute_ref_log_probs: bool = False, precompute_ref_batch_size: int | None = None, loss_type: list[str] = <factory>, loss_weights: list[float] | None = None, ld_alpha: float | None = None, f_divergence_type: str = 'reverse_kl', f_alpha_divergence_coef: float = 0.5, label_smoothing: float = 0.0, beta: float = 0.1, use_weighting: bool = False, discopop_tau: float = 0.05, activation_offloading: bool = False, sync_ref_model: bool = False, ref_model_mixup_alpha: float = 0.6, ref_model_sync_steps: int = 512, pad_token: str | None = None)
```

[المصدر](https://github.com/huggingface/trl/blob/v1.18.1/trl/trainer/dpo_config.py#L23)

**المعاملات التي تتحكم في النموذج:**

model_init_kwargs (`dict[str, Any]`، *اختياري*) : حُجج الكلمات المفتاحية لـ [from_pretrained](https://huggingface.co/docs/transformers/v5.23.0/en/model_doc/auto#transformers.AutoModelForCausalLM.from_pretrained)، تُستخدم عندما يُقدَّم حُجج `model` الخاص بـ [DPOTrainer](/docs/trl/v1.18.1/ar/dpo_trainer#trl.DPOTrainer) كنص. كما يُستخدم قيمة `revision` عند تحميل فئة المعالجة.

trust_remote_code (`bool`، *اختياري*، القيمة الافتراضية `False`) : ما إذا كان سيتم السماح بتحميل النماذج ومعالجات الرموز التي تتضمن أكواد بايثون مخصصة من Hub. يتم تمرير هذا إلى [from_pretrained](https://huggingface.co/docs/transformers/v5.23.0/en/model_doc/auto#transformers.AutoModelForCausalLM.from_pretrained) و [from_pretrained](https://huggingface.co/docs/transformers/v5.23.0/en/model_doc/auto#transformers.AutoProcessor.from_pretrained).

router_aux_loss_coef (`float`, *اختياري*) : معامل خسارة التوازن بين الأحمال المساعدة لنماذج مزيج الخبراء (MoE)، تُضاف إلى خسارة التدريب بهذا الوزن. عند عدم تعيينه، يُستخدم القيمة المُعلنة في إعدادات النموذج. عيّن `0.0` لتعطيله. يفشل عند استخدامه مع نموذج غير MoE.

disable_dropout (`bool`، *اختياري*، الافتراضي `True`) : ما إذا كان سيتم تعطيل إسقاط البيانات (dropout) في النموذج ونموذج المرجع.

**المعاملات التي تتحكم في معالجة البيانات المسبقة:**

dataset_num_proc (`int`, *اختياري*) : عدد العمليات المستخدمة لمعالجة مجموعة البيانات.

max_length (`int` أو `None`، *اختياري*، القيمة الافتراضية `1024`) : الحد الأقصى لطول التسلسل المُرمَّز. تُقتطع التسلسلات الأطول من `max_length` من اليسار أو من اليمين اعتماداً على `truncation_mode`. إذا كانت `None`، فلا يُطبَّق أي اقتطاع.

truncation_mode (`str`، *اختياري*، القيمة الافتراضية `"keep_start"`) : وضع الاقتطاع المستخدم عندما تتجاوز التسلسل `max_length`. القيمة المدعومة الوحيدة هي `"keep_start"`. القيمة `"keep_end"` لم تعد مدعومة وسيتم إزالتها في الإصدار v2.0.0.

padding_free (`bool`، *اختياري*، القيمة الافتراضية `False`) : ما إذا كان سيتم تنفيذ عمليات المرور الأمامي دون حشو عن طريق تسطيح جميع التسلسلات في الدفعة إلى تسلسل مستمر واحد. يقلل هذا من استهلاك الذاكرة من خلال إزالة عبء الحشو. حاليًا، لا يُدعم هذا إلا مع FlashAttention 2 أو 3، والتي يمكنها التعامل مع بنية الدفعة المسطحة بكفاءة. غير متاح مؤقتًا: منذ إعادة هيكلة DPO، يؤدي تعيينه إلى `True` إلى إصدار تحذير والعودة إلى الحشو القياسي. من المخطط عودته في تحديث مستقبلي.

pad_to_multiple_of (`int` أو `str`، *اختياري*، القيمة الافتراضية `"auto"`) : إذا تم تعيينه، فسيتم ملء التسلسلات حتى تكون مضاعفاً لهذه القيمة. `"auto"` يملأ حتى مضاعف 128 على Neuron (AWS Trainium)، الذي يُجمَّع مرة واحدة لكل شكل إدخال، ولا يملأ في أي مكان آخر.

precompute_ref_log_probs (`bool`، *اختياري*، القيمة الافتراضية `False`) : ما إذا كان يجب حساب احتمالات السجل لنموذج المرجع مسبقًا لمجموعة بيانات التدريب بأكملها قبل بدء التدريب. يتيح ذلك توفير الذاكرة أثناء التدريب، حيث لا حاجة إلى إبقاء نموذج المرجع في الذاكرة.

precompute_ref_batch_size (`int`, *اختياري*) : حجم الدفعة (Batch size) المستخدم عند حساب احتمالات السجلات (log probabilities) لنموذج المرجع مسبقًا. يمكن ضبط هذا القيمة أعلى من حجم دفعة التدريب لتسريع المعالجة المسبقة. إذا كانت `None`، فإن القيمة الافتراضية هي `per_device_train_batch_size` للتدريب و`per_device_eval_batch_size` للتقييم.

**المعاملات التي تتحكم في التدريب:**

loss_type (`list[str]`، *اختياري*، القيمة الافتراضية `["sigmoid"]`) : نوع الدالة الخاسرة (loss) المستخدمة. القيم الممكنة هي: `'sigmoid'`، `'hinge'`، `'ipo'`، `'exo_pair'`، `'nca_pair'`، `'robust'`، `'bco_pair'`، `'sppo_hard'`، `'aot'`، `'aot_unpaired'`، `'apo_zero'`، `'apo_down'`، `'discopop'`، `'sft'`، `'sigmoid_norm'`، `'udpo'`. إذا تم تقديم أنواع متعددة من الدوال الخاسرة، فسيتم دمجها باستخدام الأوزان المحددة في `loss_weights`.

loss_weights (`list[float]`، *اختياري*) : قائمة بأوزان الخسارة لدمج الخسائر المتعددة. يُستخدم عند دمج أنواع متعددة من الخسارة. مثال: `[0.8, 0.2, 1.0]` لـ MPO. إذا لم يُقدَّم، فإن القيمة الافتراضية هي أوزان متساوية (`1.0`) لجميع أنواع الخسارة.

ld_alpha (`float`, *اختياري*) : معامل α من ورقة LD-DPO، والذي يتحكم في وزن احتمالات تسجيل الرموز المفصّلة في الاستجابات. إذا كان `None`، فلا يُطبَّق أي وزن على الجزء المفصّل، وتصبح الخسارة مكافئة لخسارة DPO القياسية. يجب أن يكون ضمن النطاق [0.0, 1.0]: `ld_alpha=1.0` لا يُطبّق أي وزن، بينما `ld_alpha=0.0` يُخفي الرموز التي تتجاوز الأطوال المشتركة.

f_divergence_type (`str`، *اختياري*، القيمة الافتراضية `"reverse_kl"`) : مُنظِّم تباعد f بين السياسة والمرجع (ورقة f-DPO). القيم الممكنة هي: `reverse_kl` (الافتراضي)، `forward_kl`، `js_divergence`، `alpha_divergence`. أنواع الخسارة المبنية على فرق المكافأة بين الاختيار المفضل وغير المفضل فقط هي التي تدعم قيمة غير افتراضية: `'sigmoid'`، `'sigmoid_norm'`، `'hinge'`، `'ipo'`، `'exo_pair'`، `'robust'`، `'discopop'`، `'sft'`، `'udpo'`. أنواع الخسارة الأخرى ليس لها تعميم صالح لتباعد f وتُرفض عند استخدام قيمة غير افتراضية.

f_alpha_divergence_coef (`float`، *اختياري*، القيمة الافتراضية `0.5`) : معامل α لمُعدِّل α-divergence u^-α، يُستخدم فقط عندما يكون `f_divergence_type='alpha_divergence'`.

label_smoothing (`float`, *اختياري*, القيمة الافتراضية `0.0`) : معامل تنعيم التسميات المستخدم في Robust DPO وUDPO وEXO. في Robust DPO وUDPO، يُفسَّر على أنه الاحتمال ε لأن يكون تسمية التفضيل معكوسة، ويجب أن يكون ضمن المجال [0.0, 0.5)؛ القيمة النموذجية الموصى بها في ورقة Robust DPO هي 0.1. يستخدم UDPO هذا المعامل لضبط a = ε / (1 - ε)، وتوصي ورقة UDPO بقيمة a = 0.8، أي ε = 4/9. في EXO، يتوافق هذا المعامل مع معامل تنعيم التسميات ε، وتوصي الورقة بقيمة نموذجية تبلغ 1e-3.

beta (`float`، *اختياري*، القيمة الافتراضية `0.1`) : معامل يتحكم في مقدار الانحراف عن النموذج المرجعي. كلما زاد β قلّ الانحراف عن النموذج المرجعي. فيما يتعلق بخسارة IPO (`loss_type='ipo'`)، فإن هذه القيمة هي معامل التنظيم المُشار إليه بـ τ في [الورقة البحثية](https://huggingface.co/papers/2310.12036).

use_weighting (`bool`، *اختياري*، القيمة الافتراضية `False`) : ما إذا كان سيتم تطبيق وزن على شكل [WPO](https://huggingface.co/papers/2406.11827) لأزواج التفضيل باستخدام احتمالات التسلسل المعيارية حسب الطول الخاصة بالسياسة.

discopop_tau (`float`، *اختياري*، القيمة الافتراضية `0.05`) : معامل τ/درجة الحرارة من ورقة DiscoPOP، والذي يتحكم في شكل خسارة نسبة اللوغاريتم المُعدَّلة عند استخدام `loss_type='discopop'`. توصي الورقة بالقيمة الافتراضية `discopop_tau=0.05`.

activation_offloading (`bool`، *اختياري*، الافتراضي `False`) : ما إذا كان سيتم نقل التفعيلات إلى وحدة المعالجة المركزية (CPU).

sync_ref_model (`bool`، *اختياري*، القيمة الافتراضية `False`) : ما إذا كان يجب مزامنة النموذج المرجعي مع النموذج النشط كل `ref_model_sync_steps` خطوات، باستخدام معامل `ref_model_mixup_alpha`. تنبع هذه المزامنة من ورقة [TR-DPO](https://huggingface.co/papers/2404.09656). لا يتوافق `sync_ref_model=True` بعد مع PEFT أو `precompute_ref_log_probs=True`.

ref_model_mixup_alpha (`float`، *اختياري*، القيمة الافتراضية `0.6`) : معامل α من ورقة TR-DPO، والذي يتحكم في المزيج بين السياسة الحالية والسياسة المرجعية السابقة أثناء التحديثات. يتم تحديث السياسة المرجعية وفقًا للمعادلة: `π_ref = α * π_θ + (1 - α) * π_ref_prev`. لاستخدام هذا المعامل، يجب عليك تعيين `sync_ref_model=True`.

ref_model_sync_steps (`int`، *اختياري*، القيمة الافتراضية `512`) : معامل τ من ورقة [TR-DPO](https://huggingface.co/papers/2404.09656)، وهو يحدد مدى تكرار مزامنة السياسة الحالية مع السياسة المرجعية. لاستخدام هذا المعامل، يجب عليك تعيين `sync_ref_model=True`.

**معاملات غير مستخدمة:**

pad_token :   تم إيقاف استخدام المعامل `pad_token` وسيتم حذفه في الإصدار v2.0.0. اضبط `tokenizer.pad_token` مباشرةً وقم بتمريره كـ `processing_class` إلى المدرب بدلاً من ذلك.

فئة التهيئة الخاصة بـ [DPOTrainer](/docs/trl/v1.18.1/ar/dpo_trainer#trl.DPOTrainer).

تتضمن هذه الفئة فقط المعلمات الخاصة بتدريب DPO. للحصول على قائمة كاملة بحجج التدريب، يُرجى الرجوع إلى توثيق [TrainingArguments](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/trainer#transformers.TrainingArguments). لاحظ أن القيم الافتراضية في هذه الفئة قد تختلف عن تلك الموجودة في [TrainingArguments](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/trainer#transformers.TrainingArguments).

باستخدام [HfArgumentParser](https://huggingface.co/docs/transformers/v5.23.0/en/internal/trainer_utils#transformers.HfArgumentParser) يمكننا تحويل هذه الفئة إلى حُجج [argparse](https://docs.python.org/3/library/argparse#module-argparse) يمكن تحديدها على سطر الأوامر.

> [!NOTE]
> تتميز هذه المعلمات بقيم افتراضية مختلفة عن [TrainingArguments](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/trainer#transformers.TrainingArguments): - `logging_steps`: القيمة الافتراضية هي `10` بدلاً من `500`. - `gradient_checkpointing`: القيمة الافتراضية هي `True` بدلاً من `False`. - `bf16`: القيمة الافتراضية هي `True` إذا لم يتم تعيين `fp16`، بدلاً من `False`. - `learning_rate`: القيمة الافتراضية هي `1e-6` بدلاً من `5e-5`.

