# Wav2Vec2-BERT

## نظرة عامة

قُدِّم نموذج [Wav2Vec2-BERT](https://huggingface.co/papers/2312.05187) في [Seamless: Multilingual Expressive and Streaming Speech Translation](https://ai.meta.com/research/publications/seamless-multilingual-expressive-and-streaming-speech-translation/) من قبل فريق Seamless Communication التابع لـ Meta AI.

تم تدريب هذا النموذج مسبقًا على 4.5 مليون ساعة من بيانات الصوت غير الموسومة التي تغطي أكثر من 143 لغة. ويتطلب ضبطًا دقيقًا (finetuning) ليُستخدم في المهام اللاحقة مثل التعرف التلقائي على الكلام (ASR)، أو تصنيف الصوت.

يمكن العثور على النتائج الرسمية للنموذج في القسم 3.2.1 من الورقة البحثية.

المستخلص من الورقة البحثية هو كالتالي:

*أدت التطورات الأخيرة في الترجمة الآلية للكلام إلى توسيع تغطية اللغات بشكل كبير، وتحسين القدرات متعددة الوسائط، وتمكين مجموعة واسعة من المهام والوظائف. ومع ذلك، تفتقر أنظمة الترجمة الآلية للكلام واسعة النطاق اليوم إلى ميزات أساسية تساعد على جعل التواصل الوسيط الآلي يبدو سلساً عند مقارنته بالحوار بين البشر. في هذا العمل، نعرّف عائلة من النماذج التي تتيح ترجمات نهائية إلى نهائية معبّرة ومتعددة اللغات بطريقة تدفّقية. أولاً، نساهم في إصدار محسّن من نموذج SeamlessM4T متعدد اللغات والوسائط على نطاق واسع—SeamlessM4T v2. تم تدريب هذا النموذج الأحدث، الذي يدمج إطار UnitY2 المحدّث، على المزيد من بيانات اللغات منخفضة الموارد. يضيف الإصدار الموسّع من SeamlessAlign 114,800 ساعة من البيانات المحاذاة آلياً ليصل إجماليها إلى 76 لغة. يوفر SeamlessM4T v2 الأساس الذي تُبنى عليه أحدث نموذجين لنا، وهما SeamlessExpressive وSeamlessStreaming. يتيح SeamlessExpressive ترجمة تحافظ على أنماط الصوت والإيقاع. مقارنةً بالمحاولات السابقة في أبحاث الكلام المعبّر، يعالج عملنا جوانب معينة غير مستكشفة بشكل كافٍ من الإيقاع، مثل سرعة الكلام والتوقفات، مع الحفاظ أيضاً على أسلوب الصوت. أما بالنسبة لـ SeamlessStreaming، فيستفيد نموذجنا من آلية Efficient Monotonic Multihead Attention (EMMA) لتوليد ترجمات الهدف منخفضة الكمون دون انتظار اكتمال عبارات المصدر. بوصفه الأول من نوعه، يتيح SeamlessStreaming الترجمة المتزامنة من الكلام إلى الكلام/النص لعدة لغات مصدر وهدف. لفهم أداء هذه النماذج، جمعنا بين مقاييس آلية جديدة وإصدارات معدّلة من المقاييس القائمة لتقييم الإيقاع والكمون والمتانة. ولتقييمات البشر، عدّلنا بروتوكولات قائمة مصمّسة لقياس أكثر السمات صلة بالحفاظ على المعنى والطبيعية والتعبيرية. ولضمان استخدام نماذجنا بأمان ومسؤولية، نفّذنا أول جهد معروف لفريق الاختراق الأحمر (red-teaming) للترجمة الآلية متعددة الوسائط، ونظاماً لكشف وتخفيف السمية المضافة، وتقييماً منهجياً للتحيز الجنسي، وآلية علامة مائية محلية غير مسموعة مصمّمة لتقليل تأثير التزييف العميق. ونتيجةً لذلك، نجمع المكونات الرئيسية من SeamlessExpressive وSeamlessStreaming لنشكّل Seamless، وهو أول نظام متاح علنياً يفتح الباب أمام التواصل المعبّر عبر اللغات في الوقت الفعلي. باختصار، يمنحنا Seamless نظرة محورية على الأساس التقني المطلوب لتحويل المترجم الشامل للكلام من مفهوم خيال علمي إلى تقنية واقعية. أخيراً، المساهمات في هذا العمل—بما في ذلك النماذج والكود وكاشف العلامة المائية—متاحة علنياً ويمكن الوصول إليها عبر الرابط أدناه.*

تمت مساهمة هذا النموذج من قِبل [ylacombe](https://huggingface.co/ylacombe). يمكن العثور على الكود الأصلي [هنا](https://github.com/facebookresearch/seamless_communication).

## نصائح للاستخدام

- يتبع Wav2Vec2-BERT نفس البنية المعمارية لـ Wav2Vec2-Conformer، لكنه يستخدم طبقة تلافيفية عميقة سببية (causal depthwise convolutional layer) ويعتمد على تمثيل طيفي مِلي (mel-spectrogram) للصوت كمدخل بدلاً من الموجة الخام.
- يمكن لنموذج Wav2Vec2-BERT استخدام أيٍّ من: عدم استخدام تضمينات الموضع النسبي، أو تضمينات موضع على غرار Shaw، أو تضمينات موضع على غرار Transformer-XL، أو تضمينات موضع دوّارة، وذلك من خلال ضبط القيمة الصحيحة لـ `config.position_embeddings_type`.
- يُقدّم Wav2Vec2-BERT أيضًا شبكة تكيفية مبنية على Conformer بدلاً من شبكة تلافيفية بسيطة.

## الموارد

- يمكنك أيضًا تكييف هذه الدفاتر حول [كيفية ضبط نموذج التعرف على الكلام باللغة الإنجليزية](https://colab.research.google.com/github/huggingface/notebooks/blob/main/examples/speech_recognition.ipynb)، و[كيفية ضبط نموذج التعرف على الكلام بأي لغة](https://colab.research.google.com/github/huggingface/notebooks/blob/main/examples/multi_lingual_speech_recognition.ipynb).

- انظر أيضاً: [دليل مهمة تصنيف الصوت](../tasks/audio_classification)

## Wav2Vec2BertConfig[[transformers.Wav2Vec2BertConfig]]

#### transformers.Wav2Vec2BertConfig[[transformers.Wav2Vec2BertConfig]]

```python
transformers.Wav2Vec2BertConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, vocab_size: int | None = None, hidden_size: int = 1024, num_hidden_layers: int = 24, num_attention_heads: int = 16, intermediate_size: int = 4096, feature_projection_input_dim: int = 160, hidden_act: str = 'swish', hidden_dropout: float | int = 0.0, activation_dropout: float | int = 0.0, attention_dropout: float | int = 0.0, feat_proj_dropout: float | int = 0.0, final_dropout: float | int = 0.1, layerdrop: float | int = 0.1, initializer_range: float = 0.02, layer_norm_eps: float = 1e-05, apply_spec_augment: bool = True, mask_time_prob: float | int = 0.05, mask_time_length: int = 10, mask_time_min_masks: int = 2, mask_feature_prob: float | int = 0.0, mask_feature_length: int = 10, mask_feature_min_masks: int = 0, ctc_loss_reduction: str = 'sum', ctc_zero_infinity: bool = False, use_weighted_layer_sum: bool = False, classifier_proj_size: int = 768, tdnn_dim: list[int] | tuple[int, ...] = (512, 512, 512, 512, 1500), tdnn_kernel: list[int] | tuple[int, ...] = (5, 3, 3, 1, 1), tdnn_dilation: list[int] | tuple[int, ...] = (1, 2, 3, 1, 1), xvector_output_dim: int = 512, pad_token_id: int | None = 0, bos_token_id: int | None = 1, eos_token_id: int | list[int] | None = 2, add_adapter: bool = False, adapter_kernel_size: int = 3, adapter_stride: int = 2, num_adapter_layers: int = 1, adapter_act: str = 'relu', use_intermediate_ffn_before_adapter: bool = False, output_hidden_size: int | None = None, position_embeddings_type: typing.Optional[typing.Literal['rotary', 'relative', 'relative_key']] = 'relative_key', rotary_embedding_base: int = 10000, max_source_positions: int = 5000, left_max_position_embeddings: int = 64, right_max_position_embeddings: int = 8, conv_depthwise_kernel_size: int = 31, conformer_conv_dropout: float | int = 0.1)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/wav2vec2_bert/configuration_wav2vec2_bert.py#L26)

**المعاملات:**

vocab_size (`int`، *اختياري*) : حجم مفردات النموذج. يحدد عدد الرموز المختلفة التي يمكن تمثيلها بواسطة `input_ids`.

hidden_size (`int`، *اختياري*، القيمة الافتراضية `1024`) : بُعد التمثيلات المخفية.

num_hidden_layers (`int`، *اختياري*، القيمة الافتراضية `24`) : عدد الطبقات المخفية في مُفكِّك Transformer.

num_attention_heads (`int`، *اختياري*، القيمة الافتراضية `16`) : عدد رؤوس الانتباه في كل طبقة انتباه داخل مُفكِّك Transformer.

intermediate_size (`int`، *اختياري*، القيمة الافتراضية `4096`) : بُعد تمثيلات MLP.

feature_projection_input_dim (`int`، *اختياري*، القيمة الافتراضية 160) : بُعد الإدخال لهذا النموذج، أي البُعد بعد معالجة تسجيلات الصوت المدخلة باستخدام [SeamlessM4TFeatureExtractor](/docs/transformers/v5.23.0/ar/model_doc/seamless_m4t#transformers.SeamlessM4TFeatureExtractor) أو [Wav2Vec2BertProcessor](/docs/transformers/v5.23.0/ar/model_doc/wav2vec2-bert#transformers.Wav2Vec2BertProcessor).

hidden_act (`str`، *اختياري*، القيمة الافتراضية `swish`) : دالة التنشيط غير الخطية (دالة أو نص) في المُفكِّك. على سبيل المثال، `"gelu"`، `"relu"`، `"silu"`، وما إلى ذلك.

hidden_dropout (`Union[float, int]`، *اختياري*، القيمة الافتراضية `0.0`) : احتمال الإسقاط (dropout) لجميع الطبقات المتصلة بالكامل في التضمينات (embeddings) والمشفّر (encoder) والمجمّع (pooler).

activation_dropout (`Union[float, int]`، *اختياري*، القيمة الافتراضية `0.0`) : نسبة الإسقاط (dropout) للتفعيلات داخل الطبقة المتصلة بالكامل.

attention_dropout (`Union[float, int]`، *اختياري*، القيمة الافتراضية `0.0`) : نسبة الإسقاط (dropout) لاحتمالات الانتباه.

feat_proj_dropout (`float`، *اختياري*، القيمة الافتراضية 0.0) : احتمال الإسقاط العشوائي (dropout) لإسقاط الميزات.

final_dropout (`float`، *اختياري*، القيمة الافتراضية 0.1) : احتمال الإسقاط (dropout) لطبقة الإسقاط النهائية في [Wav2Vec2BertForCTC](/docs/transformers/v5.23.0/ar/model_doc/wav2vec2-bert#transformers.Wav2Vec2BertForCTC).

layerdrop (`Union[float, int]`، *اختياري*، القيمة الافتراضية `0.1`) : احتمال LayerDrop. راجع [ورقة LayerDrop](see https://huggingface.co/papers/1909.11556) لمزيد من التفاصيل.

initializer_range (`float`، *اختياري*، القيمة الافتراضية `0.02`) : الانحراف المعياري لـ truncated_normal_initializer المستخدم في تهيئة جميع مصفوفات الأوزان.

layer_norm_eps (`float`، *اختياري*، القيمة الافتراضية `1e-05`) : قيمة الإيبسلون المستخدمة في طبقات تطبيع الطبقة.

apply_spec_augment (`bool`، *اختياري*، القيمة الافتراضية `True`) : ما إذا كان سيتم تطبيق زيادة البيانات *SpecAugment* على مخرجات مُشفِّر الميزات. للاطلاع على المرجع، راجع [SpecAugment: A Simple Data Augmentation Method for Automatic Speech Recognition](https://huggingface.co/papers/1904.08779).

mask_time_prob (`float`, *optional*, defaults to 0.05) : Percentage (between 0 and 1) of all feature vectors along the time axis which will be masked. The masking procedure generates `mask_time_prob*len(time_axis)/mask_time_length ``independent masks over the axis. If reasoning from the probability of each feature vector to be chosen as the start of the vector span to be masked, *mask_time_prob* should be `prob_vector_start*mask_time_length`. Note that overlap may decrease the actual percentage of masked vectors. This is only relevant if `apply_spec_augment is True`.

mask_time_length (`int`، *اختياري*، القيمة الافتراضية 10) : طول متجه الامتداد على محور الزمن.

mask_time_min_masks (`int`، *اختياري*، القيمة الافتراضية 2) : الحد الأدنى لعدد الأقنعة بطول `mask_feature_length` التي يتم توليدها على محور الزمن، في كل خطوة زمنية، بغض النظر عن `mask_feature_prob`. لا ينطبق إلا إذا كان `mask_time_prob*len(time_axis)/mask_time_length < mask_time_min_masks`.

mask_feature_prob (`float`، *اختياري*، القيمة الافتراضية 0.0) : النسبة المئوية (بين 0 و 1) لجميع متجهات الميزات على محور الميزات التي سيتم إخفاؤها. يولّد إجراء الإخفاء `mask_feature_prob*len(feature_axis)/mask_time_length` قناعًا مستقلًا على المحور. إذا كان الاستدلال يتم بناءً على احتمال اختيار كل متجه ميزات كنقطة بداية للمدى الذي سيُخفى، فيجب أن تكون قيمة *mask_feature_prob* هي `prob_vector_start*mask_feature_length`. لاحظ أن التداخل قد يقلل من النسبة الفعلية للمتجهات المخفية. هذا الأمر ذو صلة فقط إذا كانت `apply_spec_augment is True`.

mask_feature_length (`int`، *اختياري*، القيمة الافتراضية 10) : طول متجه الامتداد على محور الميزة.

mask_feature_min_masks (`int`، *اختياري*، القيمة الافتراضية 0) : الحد الأدنى لعدد الأقنعة بطول `mask_feature_length` التي يتم توليدها على طول محور الميزة، في كل خطوة زمنية، بغض النظر عن `mask_feature_prob`. لا ينطبق إلا إذا كان `mask_feature_prob*len(feature_axis)/mask_feature_length < mask_feature_min_masks`.

ctc_loss_reduction (`str`، *اختياري*، الافتراضي `sum`) : يحدد عملية الاختزال (reduction) التي تُطبَّق على مخرجات `torch.nn.CTCLoss`. لا ينطبق إلا أثناء التدريب.

ctc_zero_infinity (`bool`، *اختياري*، القيمة الافتراضية `False`) : ما إذا كان سيتم تصفير الخسائر اللانهائية والتدرجات المرتبطة بها في `torch.nn.CTCLoss`. تحدث الخسائر اللانهائية بشكل رئيسي عندما تكون المدخلات قصيرة جدًا بحيث لا يمكن محاذاتها مع الأهداف. يكون هذا الخيار ذا صلة فقط عند تدريب مثيل من [Wav2Vec2BertForCTC](/docs/transformers/v5.23.0/ar/model_doc/wav2vec2-bert#transformers.Wav2Vec2BertForCTC).

use_weighted_layer_sum (`bool`، *اختياري*، القيمة الافتراضية `False`) : ما إذا كان سيتم استخدام متوسط مرجح لمخرجات الطبقات مع أوزان متعلمة. لا ينطبق إلا عند استخدام كائن من [Wav2Vec2BertForSequenceClassification](/docs/transformers/v5.23.0/ar/model_doc/wav2vec2-bert#transformers.Wav2Vec2BertForSequenceClassification).

classifier_proj_size (`int`، *اختياري*، القيمة الافتراضية 768) : بُعد الإسقاط قبل متوسط تجميع الرموز (token mean-pooling) للتصنيف.

tdnn_dim (`tuple[int]` أو `list[int]`، *اختياري*، القيمة الافتراضية `(512, 512, 512, 512, 1500)`) : مجموعة من الأعداد الصحيحة تحدد عدد قنوات الإخراج لكل طبقة تلافيفية أحادية البعد في وحدة *TDNN* ضمن نموذج *XVector*. يحدد طول *tdnn_dim* عدد طبقات *TDNN*.

tdnn_kernel (`tuple[int]` أو `list[int]`، *اختياري*، القيمة الافتراضية `(5, 3, 3, 1, 1)`) : مجموعة من الأعداد الصحيحة تحدد حجم النواة لكل طبقة تلافية أحادية البعد في وحدة *TDNN* من نموذج *XVector*. يجب أن يطابق طول *tdnn_kernel* طول *tdnn_dim*.

tdnn_dilation (`tuple[int]` أو `list[int]`، *اختياري*، القيمة الافتراضية `(1, 2, 3, 1, 1)`) : مجموعة من الأعداد الصحيحة تحدد معامل التمدد (dilation) لكل طبقة التمرير أحادية البعد في وحدة *TDNN* من نموذج *XVector*. يجب أن يطابق طول *tdnn_dilation* طول *tdnn_dim*.

xvector_output_dim (`int`، *اختياري*، القيمة الافتراضية 512) : بُعد متجهات التضمين *XVector*.

pad_token_id (`int`، *اختياري*، القيمة الافتراضية `0`) : معرّف الرمز المستخدم للتعبئة في المفردات.

bos_token_id (`int`، *اختياري*، القيمة الافتراضية `1`) : معرّف الرمز المستخدم لبدء البث في المفردات.

eos_token_id (`Union[int, list[int]]`، *اختياري*، القيمة الافتراضية `2`) : معرّف الرمز المستخدم لنهاية البث في المفردات.

add_adapter (`bool`، *اختياري*، القيمة الافتراضية `False`) : ما إذا كان يجب تجميع شبكة انتباه تلافيفية فوق مُشفِّر Wav2Vec2Bert. قد يكون ذلك مفيداً جداً لبدء تشغيل Wav2Vec2Bert مسبقاً لنماذج SpeechEncoderDecoder.

adapter_kernel_size (`int`، *اختياري*، القيمة الافتراضية 3) : حجم النواة للطبقات التلافيفية في شبكة المحوّل. لا ينطبق إلا إذا كان `add_adapter is True`.

adapter_stride (`int`، *اختياري*، القيمة الافتراضية 2) : خطوة طبقات الالتفاف في شبكة المحوّل. لا ينطبق إلا إذا كان `add_adapter is True`.

num_adapter_layers (`int`، *اختياري*، القيمة الافتراضية 1) : عدد طبقات الالتفاف التي يجب استخدامها في شبكة المحوّل. لا ينطبق إلا إذا كان `add_adapter is True`.

adapter_act (`str` أو `function`، *اختياري*، القيمة الافتراضية `"relu"`) : دالة التنشيط غير الخطية (دالة أو نص) في طبقات المحوّل. إذا كان نصًا، فالدوال المدعومة هي `"gelu"` و`"relu"` و`"selu"` و`"swish"` و`"gelu_new"`.

use_intermediate_ffn_before_adapter (`bool`، *اختياري*، القيمة الافتراضية `False`) : ما إذا كان يجب تجميع كتلة تقدّم وسيطة فوق مشفّر Wav2Vec2Bert وقبل شبكة المحوّل. لا ينطبق إلا إذا كان `add_adapter is True`.

output_hidden_size (`int`, *اختياري*) : بُعد طبقة مخرج المُشفِّر. إذا لم يُعرَّف، فإن القيمة الافتراضية هي *hidden-size*. لا ينطبق إلا إذا كان `add_adapter is True`.

position_embeddings_type (`str`، *اختياري*، القيمة الافتراضية `"relative_key"`) : يمكن تحديدها كـ: - `rotary`، لتضمينات الموضع الدوارة. - `relative`، لتضمينات الموضع النسبية. - `relative_key`، لتضمينات الموضع النسبية كما عرّفها Shaw في [Self-Attention with Relative Position Representations (Shaw et al.)](https://huggingface.co/papers/1803.02155). إذا تُركت `None`، فلن تُطبَّق تضمينات الموضع النسبية.

rotary_embedding_base (`int`، *اختياري*، القيمة الافتراضية 10000) : إذا تم استخدام تضمينات الموضع `"rotary"`، يحدد حجم قاعدة التضمين.

max_source_positions (`int`، *اختياري*، القيمة الافتراضية 5000) : إذا تم استخدام تضمينات الموضع `"relative"`، يحدد هذا المعلمة أقصى مواضع الإدخال المصدرية.

left_max_position_embeddings (`int`، *اختياري*، القيمة الافتراضية 64) : إذا تم استخدام تضمينات الموضع النسبي `"relative_key"` (المعروفة أيضًا باسم Shaw)، فإن هذا يحدد قيمة القصّ على اليسار للمواضع النسبية.

right_max_position_embeddings (`int`، *اختياري*، القيمة الافتراضية 8) : إذا تم استخدام تضمينات الموضع `"relative_key"` (المعروفة باسم Shaw)، فإن هذا المعامل يحدد قيمة القصّ اليمنى للمواضع النسبية.

conv_depthwise_kernel_size (`int`، *اختياري*، القيمة الافتراضية 31) : حجم النواة للطبقة التلافيفية أحادية البُعد العميقة (depthwise) في كتل Conformer.

conformer_conv_dropout (`float`، *اختياري*، القيمة الافتراضية 0.1) : احتمال الإسقاط (dropout) لجميع طبقات الالتفاف في كتل Conformer.

هذه فئة الإعدادات المخزنة لإعدادات نموذج Wav2Vec2 BertModel. تُستخدم لتوليد نموذج Wav2Vec2 Bert وفقاً للحجج المحددة، مع تعريف بنية النموذج. إن إنشاء إعدادات باستخدام القيم الافتراضية سيؤدي إلى الحصول على إعدادات مشابهة لتلك الخاصة بـ [facebook/w2v-bert-2.0](https://huggingface.co/facebook/w2v-bert-2.0)

ترث كائنات الإعداد من [PreTrainedConfig](/docs/transformers/v5.23.0/ar/main_classes/configuration#transformers.PreTrainedConfig) ويمكن استخدامها للتحكم في مخرجات النموذج. اقرأ التوثيق الخاص بـ [PreTrainedConfig](/docs/transformers/v5.23.0/ar/main_classes/configuration#transformers.PreTrainedConfig) لمزيد من المعلومات.

مثال:

```python
>>> from transformers import Wav2Vec2BertConfig, Wav2Vec2BertModel

>>> # Initializing a Wav2Vec2Bert facebook/wav2vec2-bert-rel-pos-large style configuration
>>> configuration = Wav2Vec2BertConfig()

>>> # Initializing a model (with random weights) from the facebook/wav2vec2-bert-rel-pos-large style configuration
>>> model = Wav2Vec2BertModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config
```

## Wav2Vec2BertProcessor[[transformers.Wav2Vec2BertProcessor]]

#### transformers.Wav2Vec2BertProcessor[[transformers.Wav2Vec2BertProcessor]]

```python
transformers.Wav2Vec2BertProcessor(feature_extractor, tokenizer)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/wav2vec2_bert/processing_wav2vec2_bert.py#L25)

**المعاملات:**

feature_extractor (`Wav2Vec2FeatureExtractor`) : مُستخرج الميزات هو مدخل إلزامي.

tokenizer (`Wav2Vec2CTCTokenizer`) : مُجزِّئ النص (tokenizer) هو مدخل إلزامي.

ينشئ Wav2Vec2BertProcessor الذي يجمع مستخرج الميزات ومجزئ الرموز في معالج واحد.

يوفر [Wav2Vec2BertProcessor](/docs/transformers/v5.23.0/ar/model_doc/wav2vec2-bert#transformers.Wav2Vec2BertProcessor) جميع وظائف [Wav2Vec2FeatureExtractor](/docs/transformers/v5.23.0/ar/model_doc/wav2vec2#transformers.Wav2Vec2FeatureExtractor) و[Wav2Vec2CTCTokenizer](/docs/transformers/v5.23.0/ar/model_doc/wav2vec2#transformers.Wav2Vec2CTCTokenizer). راجع [~Wav2Vec2FeatureExtractor](/docs/transformers/v5.23.0/ar/model_doc/wav2vec2#transformers.Wav2Vec2FeatureExtractor) و[~Wav2Vec2CTCTokenizer](/docs/transformers/v5.23.0/ar/model_doc/wav2vec2#transformers.Wav2Vec2CTCTokenizer) لمزيد من المعلومات.

#### __call__[[transformers.Wav2Vec2BertProcessor.__call__]]

```python
__call__(audio: typing.Union[numpy.ndarray, ForwardRef('torch.Tensor'), list[numpy.ndarray], list['torch.Tensor'], NoneType] = None, text: str | list[str] | None = None, **kwargs: *<class 'transformers.processing_utils.ProcessingKwargs'>)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/wav2vec2_bert/processing_wav2vec2_bert.py#L29)

**المعاملات:**

audio (`Union[numpy.ndarray, torch.Tensor, list[numpy.ndarray], list[torch.Tensor]]`، *اختياري*) : الصوت أو مجموعة الأصوات التي يجب تجهيزها. يمكن أن يكون كل صوت مصفوفة NumPy أو متجه PyTorch. في حالة استخدام مصفوفة NumPy/متجه PyTorch، يجب أن يكون شكل كل صوت (C, T)، حيث C هو عدد القنوات، وT هو طول العينة للصوت.

text (`Union[str, list[str]]`, *اختياري*) : التسلسل أو دفعة التسلسلات المراد ترميزها. يمكن أن يكون كل تسلسل نصًا أو قائمة من النصوص (نص مُقسَّم مسبقًا). إذا مررت مدخلًا مُقسَّمًا مسبقًا، فاضبط `is_split_into_words=True` لتجنب الغموض مع المدخلات المجمعة.

return_mm_token_type_ids (`bool`, *kwargs*) : ما إذا كان يجب إرجاع معرّفات أنواع الرموز متعددة الوسائط التي تشير إلى مواضع رموز الحشو متعددة الوسائط.

return_text_replacement_offsets (`bool`، *kwargs*) : ما إذا كان يجب إرجاع إزاحات الأحرف لكل عنصر نائب متعدد الوسائط (multimodal placeholder) وعنصر الاستبدال الخاص به.

return_tensors (`str` أو [TensorType](/docs/transformers/v5.23.0/ar/internal/file_utils#transformers.TensorType)، *اختياري*) : إذا تم تعيينه، فسيُرجع تينسورات من إطار عمل محدد. القيم المقبولة هي:  - `'pt'`: يُرجع كائنات `torch.Tensor` من PyTorch. - `'np'`: يُرجع كائنات `np.ndarray` من NumPy.

- ****kwargs** ([ProcessingKwargs](/docs/transformers/v5.23.0/ar/main_classes/processors#transformers.ProcessingKwargs)، *اختياري*) : خيارات معالجة إضافية لكل نمط (نص، صور، مقاطع فيديو، صوت). تُدرج المعلمات الخاصة بالنموذج أعلاه؛ راجع فئة TypedDict للحصول على القائمة الكاملة للحجج المدعومة.

**يعيد:** [BatchEncoding](/docs/transformers/v5.23.0/ar/main_classes/tokenizer#transformers.BatchEncoding)

[BatchEncoding](/docs/transformers/v5.23.0/ar/main_classes/tokenizer#transformers.BatchEncoding) يحتوي على الحقول التالية:
- **input_features** -- ميزات الإدخال الصوتي التي تُغذّى بها النموذج. تُعاد عندما لا تكون `audio` مساوية لـ `None`.
- **attention_mask** -- قائمة من الفهارس تحدد الطوابع الزمنية التي يجب على النموذج الانتباه إليها عندما لا تكون `audio` قيمة `None`.
عند تحديد `text` فقط، تُرجع قناع انتباه الرموز.
- **labels** -- قائمة معرّفات الرموز (token ids) التي تُمرَّر إلى النموذج. تُعاد عندما لا يكون كلٌّ من `text` و`audio` بقيمة `None`.
- **input_ids** -- قائمة معرّفات الرموز التي تُغذّى بها النموذج. تُعاد عندما لا تكون `text` قيمة `None` وتكون `audio` قيمة `None`.

#### pad[[transformers.Wav2Vec2BertProcessor.pad]]

```python
pad(input_features = None, labels = None, **kwargs)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/wav2vec2_bert/processing_wav2vec2_bert.py#L66)

إذا لم يكن `input_features` مساوياً لـ `None`، فإن هذه الطريقة تمرر الحججين `input_features` و`kwargs` إلى [pad()](/docs/transformers/v5.23.0/ar/main_classes/feature_extractor#transformers.SequenceFeatureExtractor.pad) الخاص بـ SeamlessM4TFeatureExtractor لتوسيد ميزات الإدخال. وإذا لم يكن `labels` مساوياً لـ `None`، فإن هذه الطريقة تمرر الحججين `labels` و`kwargs` إلى [pad()](/docs/transformers/v5.23.0/ar/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.pad) الخاص بـ PreTrainedTokenizer لتوسيد التسمية أو التسميات. يُرجى الرجوع إلى سلسلة التوثيق (docstring) للطريقتين المذكورتين أعلاه لمزيد من المعلومات.

#### from_pretrained[[transformers.Wav2Vec2BertProcessor.from_pretrained]]

```python
from_pretrained(pretrained_model_name_or_path: str | os.PathLike, cache_dir: str | os.PathLike | None = None, force_download: bool = False, local_files_only: bool = False, token: str | bool | None = None, revision: str = 'main', **kwargs)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/processing_utils.py#L1799)

**المعاملات:**

pretrained_model_name_or_path (`str` أو `os.PathLike`) : يمكن أن يكون هذا: - نصًا، وهو *معرف النموذج* لمُستخرج ميزات مُدرَّب مسبقًا مُستضاف داخل مستودع نموذج على huggingface.co. - مسارًا إلى *مجلد* يحتوي على ملف مستخرج ميزات تم حفظه باستخدام طريقة [save_pretrained()](/docs/transformers/v5.23.0/ar/main_classes/feature_extractor#transformers.FeatureExtractionMixin.save_pretrained)، على سبيل المثال `./my_model_directory/`. - مسارًا إلى ملف JSON *لمستخرج ميزات* محفوظ، على سبيل المثال `./my_model_directory/preprocessor_config.json`.

- ****kwargs** : حُجج إضافية تُمرَّر إلى كلٍّ من [from_pretrained()](/docs/transformers/v5.23.0/ar/main_classes/feature_extractor#transformers.FeatureExtractionMixin.from_pretrained) و`~tokenization_utils_base.PreTrainedTokenizer.from_pretrained`.

أنشئ معالجًا مرتبطًا بنموذج مُدرَّب مسبقًا.

تستدعي طريقة الفئة هذه ببساطة مستخرج الميزات [from_pretrained()](/docs/transformers/v5.23.0/ar/main_classes/feature_extractor#transformers.FeatureExtractionMixin.from_pretrained) ومعالج الصور [ImageProcessingMixin](/docs/transformers/v5.23.0/ar/internal/image_processing_utils#transformers.ImageProcessingMixin) وطريقة المرمّز `~tokenization_utils_base.PreTrainedTokenizer.from_pretrained`. يُرجى الرجوع إلى سلاسل التوثيق للطرق المذكورة أعلاه لمزيد من المعلومات.

#### save_pretrained[[transformers.Wav2Vec2BertProcessor.save_pretrained]]

```python
save_pretrained(save_directory, push_to_hub: bool = False, **kwargs)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/processing_utils.py#L1182)

**المعاملات:**

save_directory (`str` أو `os.PathLike`) : المجلد الذي سيتم حفظ ملف مستخرج الميزات بصيغة JSON وملفات المُرمِّز فيه (سيتم إنشاء المجلد إذا لم يكن موجودًا).

push_to_hub (`bool`، *اختياري*، القيمة الافتراضية `False`) : ما إذا كان سيتم دفع نموذجك إلى مستودع نماذج Hugging Face بعد حفظه. يمكنك تحديد المستودع الذي تريد الدفع إليه باستخدام `repo_id` (سيكون الافتراضي هو اسم `save_directory` ضمن نطاقك).

kwargs (`dict[str, Any]`، *اختياري*) : حُجج إضافية تُمرَّر إلى طريقة [push_to_hub()](/docs/transformers/v5.23.0/ar/main_classes/model#transformers.utils.PushToHubMixin.push_to_hub).

يحفظ خصائص هذا المعالج (مستخرج الميزات، المرمّز...) في المجلد المحدد بحيث يمكن إعادة تحميله باستخدام طريقة [from_pretrained()](/docs/transformers/v5.23.0/ar/model_doc/wav2vec2#transformers.Wav2Vec2Processor.from_pretrained).

تستدعي طريقة الفئة هذه ببساطة [save_pretrained()](/docs/transformers/v5.23.0/ar/main_classes/feature_extractor#transformers.FeatureExtractionMixin.save_pretrained) و [save_pretrained()](/docs/transformers/v5.23.0/ar/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.save_pretrained). يُرجى الرجوع إلى سلاسل التوثيق للطرق المذكورة أعلاه لمزيد من المعلومات.

#### batch_decode[[transformers.Wav2Vec2BertProcessor.batch_decode]]

```python
batch_decode(*args, **kwargs)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/processing_utils.py#L2054)

تُمرّر هذه الطريقة جميع معاملاتها إلى [batch_decode()](/docs/transformers/v5.23.0/ar/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.batch_decode) الخاصة بـ PreTrainedTokenizer. يُرجى الرجوع إلى سلسلة التوثيق (docstring) لهذه الطريقة لمزيد من المعلومات.

#### فك الترميز[[transformers.Wav2Vec2BertProcessor.decode]]

```python
decode(*args, **kwargs)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/processing_utils.py#L2063)

تُمرّر هذه الطريقة جميع معاملاتها إلى [decode()](/docs/transformers/v5.23.0/ar/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.decode) الخاصة بـ PreTrainedTokenizer. يُرجى الرجوع إلى سلسلة التوثيق (docstring) لهذه الطريقة لمزيد من المعلومات.

## Wav2Vec2BertModel[[transformers.Wav2Vec2BertModel]]

#### transformers.Wav2Vec2BertModel[[transformers.Wav2Vec2BertModel]]

```python
transformers.Wav2Vec2BertModel(config: Wav2Vec2BertConfig)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/wav2vec2_bert/modeling_wav2vec2_bert.py#L945)

**المعاملات:**

config ([Wav2Vec2BertConfig](/docs/transformers/v5.23.0/ar/model_doc/wav2vec2-bert#transformers.Wav2Vec2BertConfig)) : فئة إعدادات النموذج التي تحتوي على جميع معاملات النموذج. عند التهيئة باستخدام ملف إعدادات، لا يتم تحميل الأوزان المرتبطة بالنموذج، بل الإعدادات فقط. راجع طريقة [from_pretrained()](/docs/transformers/v5.23.0/ar/main_classes/model#transformers.PreTrainedModel.from_pretrained) لتحميل أوزان النموذج.

نموذج Wav2Vec2 Bert الأساسي الذي يُخرج حالات مخفية خام دون أي رأس محدد في الأعلى.

يرث هذا النموذج من [PreTrainedModel](/docs/transformers/v5.23.0/ar/main_classes/model#transformers.PreTrainedModel). راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع نماذجها (مثل التنزيل أو الحفظ، وتغيير حجم تضمينات الإدخال، وقص الرؤوس، وما إلى ذلك).

هذا النموذج هو أيضاً فئة فرعية من [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) في PyTorch. استخدمه كوحدة PyTorch عادية، وارجع إلى توثيق PyTorch لكل ما يتعلق بالاستخدام العام والسلوك.

#### forward[[transformers.Wav2Vec2BertModel.forward]]

```python
forward(input_features: typing.Optional[torch.Tensor], attention_mask: typing.Optional[torch.Tensor] = None, mask_time_indices: typing.Optional[torch.Tensor] = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/wav2vec2_bert/modeling_wav2vec2_bert.py#L1012)

**المعاملات:**

input_features (`torch.Tensor` من الشكل `(batch_size, sequence_length, feature_dim)`، *اختياري*) : المصفوفات المقابلة لميزات الصوت المدخلة. يمكن الحصول على ميزات الصوت باستخدام [Wav2Vec2FeatureExtractor](/docs/transformers/v5.23.0/ar/model_doc/wav2vec2#transformers.Wav2Vec2FeatureExtractor). راجع [Wav2Vec2FeatureExtractor.__call__()](/docs/transformers/v5.23.0/ar/model_doc/wav2vec2#transformers.Wav2Vec2FeatureExtractor.__call__) للتفاصيل ([Wav2Vec2BertProcessor](/docs/transformers/v5.23.0/ar/model_doc/wav2vec2-bert#transformers.Wav2Vec2BertProcessor) يستخدم [Wav2Vec2FeatureExtractor](/docs/transformers/v5.23.0/ar/model_doc/wav2vec2#transformers.Wav2Vec2FeatureExtractor) لمعالجة الأصوات).

attention_mask (`torch.Tensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : قناع لتجنب تنفيذ الانتباه على فهارس رموز الحشو. قيم القناع المختارة من `[0, 1]`: - 1 للرموز التي **ليست مقنّعة**، - 0 للرموز التي **مقنّعة**.  [ما هي أقنعة الانتباه؟](../glossary#attention-mask)

mask_time_indices (`torch.BoolTensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : فهارس لإخفاء الميزات المستخرجة لخسارة التباينية. عند التواجد في وضع التدريب، يتعلم النموذج التنبؤ بالميزات المستخرجة المخفية في فضاء *config.proj_codevector_dim*.

**يعيد:** [Wav2Vec2BaseModelOutput](/docs/transformers/v5.23.0/ar/model_doc/wav2vec2#transformers.modeling_outputs.Wav2Vec2BaseModelOutput) أو `tuple(torch.Tensor)`

[Wav2Vec2BaseModelOutput](/docs/transformers/v5.23.0/ar/model_doc/wav2vec2#transformers.modeling_outputs.Wav2Vec2BaseModelOutput) أو مجموعة مرتبة من `torch.Tensor` (في حال تم تمرير `return_dict=False` أو عندما يكون `config.return_dict=False`) وتتضمن عناصر مختلفة اعتماداً على الإعداد ([Wav2Vec2BertConfig](/docs/transformers/v5.23.0/ar/model_doc/wav2vec2-bert#transformers.Wav2Vec2BertConfig)) والمدخلات.

تتجاوز طريقة [Wav2Vec2BertModel](/docs/transformers/v5.23.0/ar/model_doc/wav2vec2-bert#transformers.Wav2Vec2BertModel) الخاصة بالتقديم (forward) الطريقة الخاصة `__call__`.

على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن `Module` بدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت.

- **last_hidden_state** (`torch.Tensor` من الشكل `(batch_size, sequence_length, hidden_size)`) -- تسلسل من حالات الإخفاء (hidden-states) عند مخرج الطبقة الأخيرة من النموذج.
- **extract_features** (`torch.Tensor` من الشكل `(batch_size, sequence_length, conv_dim[-1])`) -- تسلسل متجهات الميزات المستخرجة من الطبقة الالتفافية الأخيرة في النموذج.
- **hidden_states** (`tuple(torch.Tensor)`، *اختياري*، يُعاد عند تمرير `output_hidden_states=True` أو عند تعيين `config.output_hidden_states=True`) -- مجموعة من `torch.Tensor` (واحدة لإخراج التضمينات + واحدة لإخراج كل طبقة) بأبعاد `(batch_size, sequence_length, hidden_size)`.

  حالات النموذج المخفية عند مخرج كل طبقة بالإضافة إلى مخرجات التضمين الأولي.
- **attentions** (`tuple(torch.Tensor)`، *اختياري*، يُعاد عند تمرير `output_attentions=True` أو عند تعيين `config.output_attentions=True`) -- مجموعة من `torch.Tensor` (واحدة لكل طبقة) بأبعاد `(batch_size, num_heads, sequence_length, sequence_length)`.

  أوزان الانتباه بعد تطبيق دالة softmax على الانتباه، وتُستخدم لحساب المتوسط الموزون في رؤوس الانتباه الذاتي.

## Wav2Vec2BertForCTC[[transformers.Wav2Vec2BertForCTC]]

#### transformers.Wav2Vec2BertForCTC[[transformers.Wav2Vec2BertForCTC]]

```python
transformers.Wav2Vec2BertForCTC(config: Wav2Vec2BertConfig, target_lang: str | None = None)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/wav2vec2_bert/modeling_wav2vec2_bert.py#L1058)

**المعاملات:**

config ([Wav2Vec2BertConfig](/docs/transformers/v5.23.0/ar/model_doc/wav2vec2-bert#transformers.Wav2Vec2BertConfig)) : فئة إعدادات النموذج التي تحتوي على جميع معاملات النموذج. عند التهيئة باستخدام ملف إعدادات، لا يتم تحميل الأوزان المرتبطة بالنموذج، بل الإعدادات فقط. راجع طريقة [from_pretrained()](/docs/transformers/v5.23.0/ar/main_classes/model#transformers.PreTrainedModel.from_pretrained) لتحميل أوزان النموذج.

target_lang (`str`، *اختياري*) : معرّف لغة أوزان المُكيّف. تُخزَّن أوزان المُكيّف في صيغة adapter..safetensors أو adapter..bin. لا ينطبق إلا عند استخدام مثيل من [UniSpeechSatForCTC](/docs/transformers/v5.23.0/ar/model_doc/unispeech-sat#transformers.UniSpeechSatForCTC) مع المُكيّفات. يستخدم 'eng' افتراضيًا.

نموذج Wav2Vec2Bert مع رأس `language modeling` في الأعلى لتصنيف التسلسل الزمني المتصل (CTC).

يرث هذا النموذج من [PreTrainedModel](/docs/transformers/v5.23.0/ar/main_classes/model#transformers.PreTrainedModel). راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع نماذجها (مثل التنزيل أو الحفظ، وتغيير حجم تضمينات الإدخال، وقص الرؤوس، وما إلى ذلك).

هذا النموذج هو أيضاً فئة فرعية من [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) في PyTorch. استخدمه كوحدة PyTorch عادية، وارجع إلى توثيق PyTorch لكل ما يتعلق بالاستخدام العام والسلوك.

#### forward[[transformers.Wav2Vec2BertForCTC.forward]]

```python
forward(input_features: typing.Optional[torch.Tensor], attention_mask: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.Tensor] = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/wav2vec2_bert/modeling_wav2vec2_bert.py#L1088)

**المعاملات:**

input_features (`torch.Tensor` من الشكل `(batch_size, sequence_length, feature_dim)`، *اختياري*) : المصفوفات المقابلة لميزات الصوت المدخلة. يمكن الحصول على ميزات الصوت باستخدام [Wav2Vec2FeatureExtractor](/docs/transformers/v5.23.0/ar/model_doc/wav2vec2#transformers.Wav2Vec2FeatureExtractor). راجع [Wav2Vec2FeatureExtractor.__call__()](/docs/transformers/v5.23.0/ar/model_doc/wav2vec2#transformers.Wav2Vec2FeatureExtractor.__call__) للتفاصيل ([Wav2Vec2BertProcessor](/docs/transformers/v5.23.0/ar/model_doc/wav2vec2-bert#transformers.Wav2Vec2BertProcessor) يستخدم [Wav2Vec2FeatureExtractor](/docs/transformers/v5.23.0/ar/model_doc/wav2vec2#transformers.Wav2Vec2FeatureExtractor) لمعالجة الأصوات).

attention_mask (`torch.Tensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : قناع لتجنب تنفيذ الانتباه على فهارس رموز الحشو. قيم القناع المختارة من `[0, 1]`: - 1 للرموز التي **ليست مقنّعة**، - 0 للرموز التي **مقنّعة**.  [ما هي أقنعة الانتباه؟](../glossary#attention-mask)

labels (`torch.LongTensor` من الشكل `(batch_size, target_length)`، *اختياري*) : تسميات لتصنيف الزمن المتصل. لاحظ أن `target_length` يجب أن يكون أصغر من أو يساوي طول التسلسل لقيم الإخراج. يتم اختيار الفهارس من `[-100, 0, ..., config.vocab_size - 1]`. يتم تجاهل (إخفاء) جميع التسميات المضبوطة على `-100`، ولا يُحسب الخسارة إلا للتسميات الموجودة في `[0, ..., config.vocab_size - 1]`.

**يعيد:** [CausalLMOutput](/docs/transformers/v5.23.0/ar/main_classes/output#transformers.modeling_outputs.CausalLMOutput) أو `tuple(torch.Tensor)`

[CausalLMOutput](/docs/transformers/v5.23.0/ar/main_classes/output#transformers.modeling_outputs.CausalLMOutput) أو مجموعة مرتبة من `torch.Tensor` (في حال تمرير `return_dict=False` أو عندما يكون `config.return_dict=False`) وتتضمن عناصر مختلفة اعتماداً على الإعداد ([Wav2Vec2BertConfig](/docs/transformers/v5.23.0/ar/model_doc/wav2vec2-bert#transformers.Wav2Vec2BertConfig)) والمدخلات.

تتجاوز طريقة [Wav2Vec2BertForCTC](/docs/transformers/v5.23.0/ar/model_doc/wav2vec2-bert#transformers.Wav2Vec2BertForCTC) الخاصة بالتقديم (forward) الطريقة الخاصة `__call__`.

على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن `Module` بدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت.

- **loss** (`torch.Tensor` من الشكل `(1,)`، *اختياري*، يُعاد عند توفير `labels`) -- خسارة نمذجة اللغة (لتوقع الرمز التالي).
- **logits** (`torch.Tensor` من الشكل `(batch_size, sequence_length, config.vocab_size)`) -- درجات التنبؤ لرأس نمذجة اللغة (درجات لكل رمز في المفردات قبل SoftMax).
- **hidden_states** (`tuple(torch.Tensor)`، *اختياري*، يُعاد عند تمرير `output_hidden_states=True` أو عند تعيين `config.output_hidden_states=True`) -- مجموعة من `torch.Tensor` (واحدة لمخرجات التضمينات، إذا كان النموذج يحتوي على طبقة تضمين، + واحدة لمخرجات كل طبقة) بأبعاد `(batch_size, sequence_length, hidden_size)`.

  حالات النموذج المخفية عند مخرج كل طبقة بالإضافة إلى مخرجات التضمين الأولي الاختيارية.
- **attentions** (`tuple(torch.Tensor)`، *اختياري*، يُعاد عند تمرير `output_attentions=True` أو عند تعيين `config.output_attentions=True`) -- مجموعة من `torch.Tensor` (واحدة لكل طبقة) بأبعاد `(batch_size, num_heads, sequence_length, sequence_length)`.

  أوزان الانتباه بعد تطبيق دالة softmax على الانتباه، وتُستخدم لحساب المتوسط الموزون في رؤوس الانتباه الذاتي.

مثال:

```python
>>> from transformers import AutoProcessor, Wav2Vec2BertForCTC
>>> from datasets import load_dataset
>>> import torch

>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation")
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate

>>> processor = AutoProcessor.from_pretrained("facebook/w2v-bert-2.0")
>>> model = Wav2Vec2BertForCTC.from_pretrained("facebook/w2v-bert-2.0")

>>> # audio file is decoded on the fly
>>> inputs = processor(dataset[0]["audio"]["array"], sampling_rate=sampling_rate, return_tensors="pt")
>>> with torch.no_grad():
...     logits = model(**inputs).logits
>>> predicted_ids = torch.argmax(logits, dim=-1)

>>> # transcribe speech
>>> transcription = processor.batch_decode(predicted_ids)
>>> transcription[0]
...

>>> inputs["labels"] = processor(text=dataset[0]["text"], return_tensors="pt").input_ids

>>> # compute loss
>>> loss = model(**inputs).loss
>>> round(loss.item(), 2)
...
```

## Wav2Vec2BertForSequenceClassification[[transformers.Wav2Vec2BertForSequenceClassification]]

#### transformers.Wav2Vec2BertForSequenceClassification[[transformers.Wav2Vec2BertForSequenceClassification]]

```python
transformers.Wav2Vec2BertForSequenceClassification(config: Wav2Vec2BertConfig)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/wav2vec2_bert/modeling_wav2vec2_bert.py#L1148)

**المعاملات:**

config ([Wav2Vec2BertConfig](/docs/transformers/v5.23.0/ar/model_doc/wav2vec2-bert#transformers.Wav2Vec2BertConfig)) : فئة إعدادات النموذج التي تحتوي على جميع معاملات النموذج. عند التهيئة باستخدام ملف إعدادات، لا يتم تحميل الأوزان المرتبطة بالنموذج، بل الإعدادات فقط. راجع طريقة [from_pretrained()](/docs/transformers/v5.23.0/ar/main_classes/model#transformers.PreTrainedModel.from_pretrained) لتحميل أوزان النموذج.

نموذج Wav2Vec2Bert مع رأس تصنيف تسلسل في الأعلى (طبقة خطية فوق المخرجات المجمّعة) لمهام مثل SUPERB Keyword Spotting.

يرث هذا النموذج من [PreTrainedModel](/docs/transformers/v5.23.0/ar/main_classes/model#transformers.PreTrainedModel). راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع نماذجها (مثل التنزيل أو الحفظ، وتغيير حجم تضمينات الإدخال، وقص الرؤوس، وما إلى ذلك).

هذا النموذج هو أيضاً فئة فرعية من [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) في PyTorch. استخدمه كوحدة PyTorch عادية، وارجع إلى توثيق PyTorch لكل ما يتعلق بالاستخدام العام والسلوك.

#### forward[[transformers.Wav2Vec2BertForSequenceClassification.forward]]

```python
forward(input_features: typing.Optional[torch.Tensor], attention_mask: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.Tensor] = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/wav2vec2_bert/modeling_wav2vec2_bert.py#L1174)

**المعاملات:**

input_features (`torch.Tensor` من الشكل `(batch_size, sequence_length, feature_dim)`، *اختياري*) : المصفوفات المقابلة لميزات الصوت المدخلة. يمكن الحصول على ميزات الصوت باستخدام [Wav2Vec2FeatureExtractor](/docs/transformers/v5.23.0/ar/model_doc/wav2vec2#transformers.Wav2Vec2FeatureExtractor). راجع [Wav2Vec2FeatureExtractor.__call__()](/docs/transformers/v5.23.0/ar/model_doc/wav2vec2#transformers.Wav2Vec2FeatureExtractor.__call__) للتفاصيل ([Wav2Vec2BertProcessor](/docs/transformers/v5.23.0/ar/model_doc/wav2vec2-bert#transformers.Wav2Vec2BertProcessor) يستخدم [Wav2Vec2FeatureExtractor](/docs/transformers/v5.23.0/ar/model_doc/wav2vec2#transformers.Wav2Vec2FeatureExtractor) لمعالجة الأصوات).

attention_mask (`torch.Tensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : قناع لتجنب تنفيذ الانتباه على فهارس رموز الحشو. قيم القناع المختارة من `[0, 1]`: - 1 للرموز التي **ليست مقنّعة**، - 0 للرموز التي **مقنّعة**.  [ما هي أقنعة الانتباه؟](../glossary#attention-mask)

labels (`torch.LongTensor` من الشكل `(batch_size,)`، *اختياري*) : تسميات لحساب خسارة تصنيف/انحدار التسلسل. يجب أن تكون الفهارس ضمن `[0, ..., config.num_labels - 1]`. إذا كان `config.num_labels == 1` يتم حساب خسارة الانحدار (خسارة متوسط المربع)، وإذا كان `config.num_labels > 1` يتم حساب خسارة التصنيف (الإنتروبيا المتقاطعة).

**يعيد:** [SequenceClassifierOutput](/docs/transformers/v5.23.0/ar/main_classes/output#transformers.modeling_outputs.SequenceClassifierOutput) أو `tuple(torch.Tensor)`

[SequenceClassifierOutput](/docs/transformers/v5.23.0/ar/main_classes/output#transformers.modeling_outputs.SequenceClassifierOutput) أو مجموعة مرتبة من `torch.Tensor` (في حال تم تمرير `return_dict=False` أو عندما يكون `config.return_dict=False`) وتتضمن عناصر مختلفة اعتماداً على الإعداد ([Wav2Vec2BertConfig](/docs/transformers/v5.23.0/ar/model_doc/wav2vec2-bert#transformers.Wav2Vec2BertConfig)) والمدخلات.

تُعيد طريقة [Wav2Vec2BertForSequenceClassification](/docs/transformers/v5.23.0/ar/model_doc/wav2vec2-bert#transformers.Wav2Vec2BertForSequenceClassification) الخاصة بالتقديم (forward) تعريف الطريقة الخاصة `__call__`.

على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن `Module` بدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت.

- **loss** (`torch.Tensor` من الشكل `(1,)`, *اختياري*، يُعاد عند تقديم `labels`) -- خسارة التصنيف (أو الانحدار إذا كان config.num_labels==1).
- **logits** (`torch.Tensor` من الشكل `(batch_size, config.num_labels)`) -- درجات التصنيف (أو الانحدار إذا كان config.num_labels==1) (قبل SoftMax).
- **hidden_states** (`tuple(torch.Tensor)`، *اختياري*، يُعاد عند تمرير `output_hidden_states=True` أو عند تعيين `config.output_hidden_states=True`) -- مجموعة من `torch.Tensor` (واحدة لمخرجات التضمينات، إذا كان النموذج يحتوي على طبقة تضمين، + واحدة لمخرجات كل طبقة) بأبعاد `(batch_size, sequence_length, hidden_size)`.

  حالات النموذج المخفية عند مخرج كل طبقة بالإضافة إلى مخرجات التضمين الأولي الاختيارية.
- **attentions** (`tuple(torch.Tensor)`، *اختياري*، يُعاد عند تمرير `output_attentions=True` أو عند تعيين `config.output_attentions=True`) -- مجموعة من `torch.Tensor` (واحدة لكل طبقة) بأبعاد `(batch_size, num_heads, sequence_length, sequence_length)`.

  أوزان الانتباه بعد تطبيق دالة softmax على الانتباه، وتُستخدم لحساب المتوسط الموزون في رؤوس الانتباه الذاتي.

مثال على تصنيف بوسم واحد:

```python
>>> import torch
>>> from transformers import AutoTokenizer, Wav2Vec2BertForSequenceClassification

>>> tokenizer = AutoTokenizer.from_pretrained("facebook/w2v-bert-2.0")
>>> model = Wav2Vec2BertForSequenceClassification.from_pretrained("facebook/w2v-bert-2.0")

>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> predicted_class_id = logits.argmax().item()
>>> model.config.id2label[predicted_class_id]
...

>>> # To train a model on `num_labels` classes, you can pass `num_labels=num_labels` to `.from_pretrained(...)`
>>> num_labels = len(model.config.id2label)
>>> model = Wav2Vec2BertForSequenceClassification.from_pretrained("facebook/w2v-bert-2.0", num_labels=num_labels)

>>> labels = torch.tensor([1])
>>> loss = model(**inputs, labels=labels).loss
>>> round(loss.item(), 2)
...
```

مثال على تصنيف متعدد التسميات:

```python
>>> import torch
>>> from transformers import AutoTokenizer, Wav2Vec2BertForSequenceClassification

>>> tokenizer = AutoTokenizer.from_pretrained("facebook/w2v-bert-2.0")
>>> model = Wav2Vec2BertForSequenceClassification.from_pretrained("facebook/w2v-bert-2.0", problem_type="multi_label_classification")

>>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> predicted_class_ids = torch.arange(0, logits.shape[-1])[torch.sigmoid(logits).squeeze(dim=0) > 0.5]

>>> # To train a model on `num_labels` classes, you can pass `num_labels=num_labels` to `.from_pretrained(...)`
>>> num_labels = len(model.config.id2label)
>>> model = Wav2Vec2BertForSequenceClassification.from_pretrained(
...     "facebook/w2v-bert-2.0", num_labels=num_labels, problem_type="multi_label_classification"
... )

>>> labels = torch.sum(
...     torch.nn.functional.one_hot(predicted_class_ids[None, :].clone(), num_classes=num_labels), dim=1
... ).to(torch.float)
>>> loss = model(**inputs, labels=labels).loss
```

## Wav2Vec2BertForAudioFrameClassification[[transformers.Wav2Vec2BertForAudioFrameClassification]]

#### transformers.Wav2Vec2BertForAudioFrameClassification[[transformers.Wav2Vec2BertForAudioFrameClassification]]

```python
transformers.Wav2Vec2BertForAudioFrameClassification(config: Wav2Vec2BertConfig)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/wav2vec2_bert/modeling_wav2vec2_bert.py#L1232)

**المعاملات:**

config ([Wav2Vec2BertConfig](/docs/transformers/v5.23.0/ar/model_doc/wav2vec2-bert#transformers.Wav2Vec2BertConfig)) : فئة إعدادات النموذج التي تحتوي على جميع معاملات النموذج. عند التهيئة باستخدام ملف إعدادات، لا يتم تحميل الأوزان المرتبطة بالنموذج، بل الإعدادات فقط. راجع طريقة [from_pretrained()](/docs/transformers/v5.23.0/ar/main_classes/model#transformers.PreTrainedModel.from_pretrained) لتحميل أوزان النموذج.

نموذج Wav2Vec2 Bert مع رأس تصنيف الإطارات في الأعلى لمهام مثل تحديد المتحدثين.

يرث هذا النموذج من [PreTrainedModel](/docs/transformers/v5.23.0/ar/main_classes/model#transformers.PreTrainedModel). راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع نماذجها (مثل التنزيل أو الحفظ، وتغيير حجم تضمينات الإدخال، وقص الرؤوس، وما إلى ذلك).

هذا النموذج هو أيضاً فئة فرعية من [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) في PyTorch. استخدمه كوحدة PyTorch عادية، وارجع إلى توثيق PyTorch لكل ما يتعلق بالاستخدام العام والسلوك.

#### forward[[transformers.Wav2Vec2BertForAudioFrameClassification.forward]]

```python
forward(input_features: typing.Optional[torch.Tensor], attention_mask: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.Tensor] = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/wav2vec2_bert/modeling_wav2vec2_bert.py#L1257)

**المعاملات:**

input_features (`torch.Tensor` من الشكل `(batch_size, sequence_length, feature_dim)`، *اختياري*) : المصفوفات المقابلة لميزات الصوت المدخلة. يمكن الحصول على ميزات الصوت باستخدام [Wav2Vec2FeatureExtractor](/docs/transformers/v5.23.0/ar/model_doc/wav2vec2#transformers.Wav2Vec2FeatureExtractor). راجع [Wav2Vec2FeatureExtractor.__call__()](/docs/transformers/v5.23.0/ar/model_doc/wav2vec2#transformers.Wav2Vec2FeatureExtractor.__call__) للتفاصيل ([Wav2Vec2BertProcessor](/docs/transformers/v5.23.0/ar/model_doc/wav2vec2-bert#transformers.Wav2Vec2BertProcessor) يستخدم [Wav2Vec2FeatureExtractor](/docs/transformers/v5.23.0/ar/model_doc/wav2vec2#transformers.Wav2Vec2FeatureExtractor) لمعالجة الأصوات).

attention_mask (`torch.Tensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : قناع لتجنب تنفيذ الانتباه على فهارس رموز الحشو. قيم القناع المختارة من `[0, 1]`: - 1 للرموز التي **ليست مقنّعة**، - 0 للرموز التي **مقنّعة**.  [ما هي أقنعة الانتباه؟](../glossary#attention-mask)

labels (`torch.LongTensor` من الشكل `(batch_size,)`، *اختياري*) : تسميات لحساب خسارة تصنيف/انحدار التسلسل. يجب أن تكون الفهارس ضمن `[0, ..., config.num_labels - 1]`. إذا كان `config.num_labels == 1` يتم حساب خسارة الانحدار (خسارة متوسط المربع)، وإذا كان `config.num_labels > 1` يتم حساب خسارة التصنيف (الإنتروبيا المتقاطعة).

**يعيد:** [TokenClassifierOutput](/docs/transformers/v5.23.0/ar/main_classes/output#transformers.modeling_outputs.TokenClassifierOutput) أو `tuple(torch.Tensor)`

[TokenClassifierOutput](/docs/transformers/v5.23.0/ar/main_classes/output#transformers.modeling_outputs.TokenClassifierOutput) أو مجموعة مرتبة من `torch.Tensor` (في حال تمرير `return_dict=False` أو عندما يكون `config.return_dict=False`) وتتضمن عناصر مختلفة اعتماداً على الإعداد ([Wav2Vec2BertConfig](/docs/transformers/v5.23.0/ar/model_doc/wav2vec2-bert#transformers.Wav2Vec2BertConfig)) والمدخلات.

تتجاوز طريقة [Wav2Vec2BertForAudioFrameClassification](/docs/transformers/v5.23.0/ar/model_doc/wav2vec2-bert#transformers.Wav2Vec2BertForAudioFrameClassification) الخاصة بالتقديم (forward) الطريقة الخاصة `__call__`.

على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن `Module` بدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت.

- **loss** (`torch.Tensor` of shape `(1,)`, *اختياري*, يُعاد عند توفير `labels`) -- خسارة التصنيف.
- **logits** (`torch.Tensor` من الشكل `(batch_size, sequence_length, config.num_labels)`) -- درجات التصنيف (قبل SoftMax).
- **hidden_states** (`tuple(torch.Tensor)`، *اختياري*، يُعاد عند تمرير `output_hidden_states=True` أو عند تعيين `config.output_hidden_states=True`) -- مجموعة من `torch.Tensor` (واحدة لمخرجات التضمينات، إذا كان النموذج يحتوي على طبقة تضمين، + واحدة لمخرجات كل طبقة) بأبعاد `(batch_size, sequence_length, hidden_size)`.

  حالات النموذج المخفية عند مخرج كل طبقة بالإضافة إلى مخرجات التضمين الأولي الاختيارية.
- **attentions** (`tuple(torch.Tensor)`، *اختياري*، يُعاد عند تمرير `output_attentions=True` أو عند تعيين `config.output_attentions=True`) -- مجموعة من `torch.Tensor` (واحدة لكل طبقة) بأبعاد `(batch_size, num_heads, sequence_length, sequence_length)`.

  أوزان الانتباه بعد تطبيق دالة softmax على الانتباه، وتُستخدم لحساب المتوسط الموزون في رؤوس الانتباه الذاتي.

مثال:

```python
>>> from transformers import AutoFeatureExtractor, Wav2Vec2BertForAudioFrameClassification
>>> from datasets import load_dataset
>>> import torch

>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation")
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate

>>> feature_extractor = AutoFeatureExtractor.from_pretrained("facebook/w2v-bert-2.0")
>>> model = Wav2Vec2BertForAudioFrameClassification.from_pretrained("facebook/w2v-bert-2.0")

>>> # audio file is decoded on the fly
>>> inputs = feature_extractor(dataset[0]["audio"]["array"], return_tensors="pt", sampling_rate=sampling_rate)
>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> probabilities = torch.sigmoid(logits[0])
>>> # labels is a one-hot array of shape (num_frames, num_speakers)
>>> labels = (probabilities > 0.5).long()
>>> labels[0].tolist()
...
```

## Wav2Vec2BertForXVector[[transformers.Wav2Vec2BertForXVector]]

#### transformers.Wav2Vec2BertForXVector[[transformers.Wav2Vec2BertForXVector]]

```python
transformers.Wav2Vec2BertForXVector(config: Wav2Vec2BertConfig)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/wav2vec2_bert/modeling_wav2vec2_bert.py#L1367)

**المعاملات:**

config ([Wav2Vec2BertConfig](/docs/transformers/v5.23.0/ar/model_doc/wav2vec2-bert#transformers.Wav2Vec2BertConfig)) : فئة إعدادات النموذج التي تحتوي على جميع معاملات النموذج. عند التهيئة باستخدام ملف إعدادات، لا يتم تحميل الأوزان المرتبطة بالنموذج، بل الإعدادات فقط. راجع طريقة [from_pretrained()](/docs/transformers/v5.23.0/ar/main_classes/model#transformers.PreTrainedModel.from_pretrained) لتحميل أوزان النموذج.

نموذج Wav2Vec2Bert مع رأس لاستخراج الميزات XVector في الأعلى لمهام مثل التحقق من المتحدث.

يرث هذا النموذج من [PreTrainedModel](/docs/transformers/v5.23.0/ar/main_classes/model#transformers.PreTrainedModel). راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع نماذجها (مثل التنزيل أو الحفظ، وتغيير حجم تضمينات الإدخال، وقص الرؤوس، وما إلى ذلك).

هذا النموذج هو أيضاً فئة فرعية من [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) في PyTorch. استخدمه كوحدة PyTorch عادية، وارجع إلى توثيق PyTorch لكل ما يتعلق بالاستخدام العام والسلوك.

#### forward[[transformers.Wav2Vec2BertForXVector.forward]]

```python
forward(input_features: typing.Optional[torch.Tensor], attention_mask: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.Tensor] = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/wav2vec2_bert/modeling_wav2vec2_bert.py#L1410)

**المعاملات:**

input_features (`torch.Tensor` من الشكل `(batch_size, sequence_length, feature_dim)`، *اختياري*) : المصفوفات المقابلة لميزات الصوت المدخلة. يمكن الحصول على ميزات الصوت باستخدام [Wav2Vec2FeatureExtractor](/docs/transformers/v5.23.0/ar/model_doc/wav2vec2#transformers.Wav2Vec2FeatureExtractor). راجع [Wav2Vec2FeatureExtractor.__call__()](/docs/transformers/v5.23.0/ar/model_doc/wav2vec2#transformers.Wav2Vec2FeatureExtractor.__call__) للتفاصيل ([Wav2Vec2BertProcessor](/docs/transformers/v5.23.0/ar/model_doc/wav2vec2-bert#transformers.Wav2Vec2BertProcessor) يستخدم [Wav2Vec2FeatureExtractor](/docs/transformers/v5.23.0/ar/model_doc/wav2vec2#transformers.Wav2Vec2FeatureExtractor) لمعالجة الأصوات).

attention_mask (`torch.Tensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : قناع لتجنب تنفيذ الانتباه على فهارس رموز الحشو. قيم القناع المختارة من `[0, 1]`: - 1 للرموز التي **ليست مقنّعة**، - 0 للرموز التي **مقنّعة**.  [ما هي أقنعة الانتباه؟](../glossary#attention-mask)

labels (`torch.LongTensor` من الشكل `(batch_size,)`، *اختياري*) : تسميات لحساب خسارة تصنيف/انحدار التسلسل. يجب أن تكون الفهارس ضمن `[0, ..., config.num_labels - 1]`. إذا كان `config.num_labels == 1` يتم حساب خسارة الانحدار (خسارة متوسط المربع)، وإذا كان `config.num_labels > 1` يتم حساب خسارة التصنيف (الإنتروبيا المتقاطعة).

**يعيد:** [XVectorOutput](/docs/transformers/v5.23.0/ar/main_classes/output#transformers.modeling_outputs.XVectorOutput) أو `tuple(torch.Tensor)`

[XVectorOutput](/docs/transformers/v5.23.0/ar/main_classes/output#transformers.modeling_outputs.XVectorOutput) أو مجموعة مرتبة من `torch.Tensor` (في حال تم تمرير `return_dict=False` أو عندما يكون `config.return_dict=False`) تتكون من عناصر مختلفة اعتماداً على الإعداد ([Wav2Vec2BertConfig](/docs/transformers/v5.23.0/ar/model_doc/wav2vec2-bert#transformers.Wav2Vec2BertConfig)) والمدخلات.

تتجاوز طريقة [Wav2Vec2BertForXVector](/docs/transformers/v5.23.0/ar/model_doc/wav2vec2-bert#transformers.Wav2Vec2BertForXVector) الخاصة بالتقديم الأمامي (forward) الطريقة الخاصة `__call__`.

على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن `Module` بدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت.

- **loss** (`torch.Tensor` of shape `(1,)`, *اختياري*, يُعاد عند توفير `labels`) -- خسارة التصنيف.
- **logits** (`torch.Tensor` من الشكل `(batch_size, config.xvector_output_dim)`) -- حالات المخفية للتصنيف قبل AMSoftmax.
- **تمثيلات** (`torch.Tensor` من الشكل `(batch_size, config.xvector_output_dim)`) -- تمثيلات الجمل المستخدمة في الاسترجاع القائم على تشابه المتجهات.
- **hidden_states** (`tuple(torch.Tensor)`، *اختياري*، يُعاد عند تمرير `output_hidden_states=True` أو عند تعيين `config.output_hidden_states=True`) -- مجموعة من `torch.Tensor` (واحدة لإخراج التضمينات + واحدة لإخراج كل طبقة) بأبعاد `(batch_size, sequence_length, hidden_size)`.

  حالات النموذج المخفية عند مخرج كل طبقة بالإضافة إلى مخرجات التضمين الأولي.
- **attentions** (`tuple(torch.Tensor)`، *اختياري*، يُعاد عند تمرير `output_attentions=True` أو عند تعيين `config.output_attentions=True`) -- مجموعة من `torch.Tensor` (واحدة لكل طبقة) بأبعاد `(batch_size, num_heads, sequence_length, sequence_length)`.

  أوزان الانتباه بعد تطبيق دالة softmax على الانتباه، وتُستخدم لحساب المتوسط الموزون في رؤوس الانتباه الذاتي.

مثال:

```python
>>> from transformers import AutoFeatureExtractor, Wav2Vec2BertForXVector
>>> from datasets import load_dataset
>>> import torch

>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation")
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate

>>> feature_extractor = AutoFeatureExtractor.from_pretrained("facebook/w2v-bert-2.0")
>>> model = Wav2Vec2BertForXVector.from_pretrained("facebook/w2v-bert-2.0")

>>> # audio file is decoded on the fly
>>> inputs = feature_extractor(
...     [d["array"] for d in dataset[:2]["audio"]], sampling_rate=sampling_rate, return_tensors="pt", padding=True
... )
>>> with torch.no_grad():
...     embeddings = model(**inputs).embeddings

>>> embeddings = torch.nn.functional.normalize(embeddings, dim=-1).cpu()

>>> # the resulting embeddings can be used for cosine similarity-based retrieval
>>> cosine_sim = torch.nn.CosineSimilarity(dim=-1)
>>> similarity = cosine_sim(embeddings[0], embeddings[1])
>>> threshold = 0.7  # the optimal threshold is dataset-dependent
>>> if similarity < threshold:
...     print("Speakers are not the same!")
>>> round(similarity.item(), 2)
...
```

