# FastSpeech2Conformer

## نظرة عامة

قُدِّم نموذج FastSpeech2Conformer في ورقة [Recent Developments On Espnet Toolkit Boosted By Conformer](https://huggingface.co/papers/2010.13956) التي كتبها Pengcheng Guo و Florian Boyer و Xuankai Chang و Tomoki Hayashi و Yosuke Higuchi و Hirofumi Inaguma و Naoyuki Kamo و Chenda Li و Daniel Garcia-Romero و Jiatong Shi و Jing Shi و Shinji Watanabe و Kun Wei و Wangyou Zhang و Yuekai Zhang.

المستخلص من ورقة FastSpeech2 الأصلية هو كالتالي:

*يمكن لنماذج تحويل النص إلى كلام غير التوليدية الذاتية (TTS) مثل FastSpeech (Ren et al., 2019) توليد الكلام بشكل أسرع بكثير من نماذج التوليد الذاتي السابقة مع جودة مماثلة. يعتمد تدريب نموذج FastSpeech على نموذج معلم توليدي ذاتي للتنبؤ بالمدة (لتوفير مزيد من المعلومات كمدخلات) والتقطير المعرفي (لتبسيط توزيع البيانات في المخرجات)، مما يمكن أن يخفف من مشكلة التحويل من واحد إلى متعدد (أي أن عدة تباينات في الكلام تتوافق مع النص نفسه) في TTS. ومع ذلك، يعاني FastSpeech من عدة عيوب: 1) خط أنابيب التقطير بين المعلم والمتعلم معقد ويستغرق وقتاً طويلاً، 2) المدة المستخرجة من نموذج المعلم ليست دقيقة بما يكفي، وتُعاني مطيافات الميل المستهدفة المُقطَّرة من نموذج المعلم من فقدان للمعلومات بسبب تبسيط البيانات، وكلاهما يحد من جودة الصوت. في هذه الورقة، نقترح FastSpeech 2، الذي يعالج المشكلات في FastSpeech ويحل بشكل أفضل مشكلة التحويل من واحد إلى متعدد في TTS من خلال 1) تدريب النموذج مباشرةً باستخدام الهدف الحقيقي بدلاً من المخرج المبسط من المعلم، و 2) إدخال مزيد من معلومات التباين في الكلام (مثل النغمة والطاقة والمدة الأكثر دقة) كمدخلات شرطية. تحديداً، نستخرج المدة والنغمة والطاقة من موجة الكلام ونستخدمها مباشرةً كمدخلات شرطية في التدريب، ونستخدم القيم المتوقعة في الاستدلال. كما نصمم FastSpeech 2s، وهو أول محاولة لتوليد موجة الكلام مباشرةً من النص بالتوازي، مستفيداً من ميزة الاستدلال النهائي الشامل. تُظهر النتائج التجريبية أن 1) يحقق FastSpeech 2 تسريعاً في التدريب بمقدار 3 أضعاف مقارنةً بـ FastSpeech، ويتمتع FastSpeech 2s بسرعة استدلال أسرع حتى؛ 2) يتفوق FastSpeech 2 و 2s على FastSpeech في جودة الصوت، ويمكن لـ FastSpeech 2 حتى أن يتفوق على النماذج التوليدية الذاتية. تتوفر عينات صوتية على https://speechresearch.github.io/fastspeech2/.*

تمت مساهمة هذا النموذج من قِبل [Connor Henderson](https://huggingface.co/connor-henderson). يمكن العثور على الكود الأصلي [هنا](https://github.com/espnet/espnet/blob/master/espnet2/tts/fastspeech2/fastspeech2.py).

## 🤗 بنية النموذج

تم تنفيذ البنية العامة لنموذج FastSpeech2 مع مُفكّك طيف الميّل (Mel-spectrogram decoder)، وتم استبدال كتل الترانسفورمر التقليدية بكتل الكونفورمر (conformer blocks) كما هو الحال في مكتبة ESPnet.

### بنية نموذج FastSpeech2

![FastSpeech2 Model Architecture](https://www.microsoft.com/en-us/research/uploads/prod/2021/04/fastspeech2-1.png)

#### كتل Conformer

![Conformer Blocks](https://www.researchgate.net/profile/Hirofumi-Inaguma-2/publication/344911155/figure/fig2/AS:951455406108673@1603856054097/An-overview-of-Conformer-block.png)

#### وحدة الالتفاف

![Convolution Module](https://d3i71xaburhd42.cloudfront.net/8809d0732f6147d4ad9218c8f9b20227c837a746/2-Figure1-1.png)

## 🤗 استخدام Transformers

يمكنك تشغيل FastSpeech2Conformer محليًا باستخدام مكتبة 🤗 Transformers.

1. أولاً، ثبّت مكتبة [Transformers](https://github.com/huggingface/transformers) 🤗 وg2p-en:

```bash
pip install --upgrade pip
pip install --upgrade transformers g2p-en
```

2. شغّل الاستدلال عبر كود نمذجة Transformers باستخدام النموذج وhifigan بشكل منفصل

```python
import soundfile as sf

from transformers import FastSpeech2ConformerHifiGan, FastSpeech2ConformerModel, FastSpeech2ConformerTokenizer

tokenizer = FastSpeech2ConformerTokenizer.from_pretrained("espnet/fastspeech2_conformer")
inputs = tokenizer("Hello, my dog is cute.", return_tensors="pt").to(model.device)
input_ids = inputs["input_ids"]

model = FastSpeech2ConformerModel.from_pretrained("espnet/fastspeech2_conformer", device_map="auto")
output_dict = model(input_ids, return_dict=True)
spectrogram = output_dict["spectrogram"]

hifigan = FastSpeech2ConformerHifiGan.from_pretrained("espnet/fastspeech2_conformer_hifigan")
waveform = hifigan(spectrogram)

sf.write("speech.wav", waveform.squeeze().detach().numpy(), samplerate=22050)
```

3. شغّل الاستدلال عبر كود نمذجة Transformers مع دمج النموذج وhifigan

```python
import soundfile as sf

from transformers import FastSpeech2ConformerTokenizer, FastSpeech2ConformerWithHifiGan

tokenizer = FastSpeech2ConformerTokenizer.from_pretrained("espnet/fastspeech2_conformer")
inputs = tokenizer("Hello, my dog is cute.", return_tensors="pt").to(model.device)
input_ids = inputs["input_ids"]

model = FastSpeech2ConformerWithHifiGan.from_pretrained("espnet/fastspeech2_conformer_with_hifigan")
output_dict = model(input_ids, return_dict=True)
waveform = output_dict["waveform"]

sf.write("speech.wav", waveform.squeeze().detach().numpy(), samplerate=22050)
```

4. شغّل الاستدلال باستخدام خط أنابيب وحدد أي مُصوِّت صوتي (vocoder) يجب استخدامه

```python
import soundfile as sf

from transformers import FastSpeech2ConformerHifiGan, pipeline

vocoder = FastSpeech2ConformerHifiGan.from_pretrained("espnet/fastspeech2_conformer_hifigan")
synthesiser = pipeline(model="espnet/fastspeech2_conformer", vocoder=vocoder)

speech = synthesiser("Hello, my dog is cooler than you!")

sf.write("speech.wav", speech["audio"].squeeze(), samplerate=speech["sampling_rate"])
```

## FastSpeech2ConformerConfig[[transformers.FastSpeech2ConformerConfig]]

#### transformers.FastSpeech2ConformerConfig[[transformers.FastSpeech2ConformerConfig]]

```python
transformers.FastSpeech2ConformerConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, is_encoder_decoder: bool = True, hidden_size: int = 384, vocab_size: int = 78, num_mel_bins: int = 80, encoder_num_attention_heads: int = 2, encoder_layers: int = 4, encoder_linear_units: int = 1536, decoder_layers: int = 4, decoder_num_attention_heads: int = 2, decoder_linear_units: int = 1536, speech_decoder_postnet_layers: int = 5, speech_decoder_postnet_units: int = 256, speech_decoder_postnet_kernel: int = 5, positionwise_conv_kernel_size: int = 3, encoder_normalize_before: bool = False, decoder_normalize_before: bool = False, encoder_concat_after: bool = False, decoder_concat_after: bool = False, reduction_factor: int = 1, speaking_speed: float = 1.0, use_macaron_style_in_conformer: bool = True, use_cnn_in_conformer: bool = True, encoder_kernel_size: int = 7, decoder_kernel_size: int = 31, duration_predictor_layers: int = 2, duration_predictor_channels: int = 256, duration_predictor_kernel_size: int = 3, energy_predictor_layers: int = 2, energy_predictor_channels: int = 256, energy_predictor_kernel_size: int = 3, energy_predictor_dropout: float | int = 0.5, energy_embed_kernel_size: int = 1, energy_embed_dropout: float | int = 0.0, stop_gradient_from_energy_predictor: bool = False, pitch_predictor_layers: int = 5, pitch_predictor_channels: int = 256, pitch_predictor_kernel_size: int = 5, pitch_predictor_dropout: float | int = 0.5, pitch_embed_kernel_size: int = 1, pitch_embed_dropout: float | int = 0.0, stop_gradient_from_pitch_predictor: bool = True, encoder_dropout_rate: float | int = 0.2, encoder_positional_dropout_rate: float | int = 0.2, encoder_attention_dropout_rate: float | int = 0.2, decoder_dropout_rate: float | int = 0.2, decoder_positional_dropout_rate: float | int = 0.2, decoder_attention_dropout_rate: float | int = 0.2, duration_predictor_dropout_rate: float | int = 0.2, speech_decoder_postnet_dropout: float | int = 0.5, max_source_positions: int = 5000, use_masking: bool = True, use_weighted_masking: bool = False, num_speakers: int | None = None, num_languages: int | None = None, speaker_embed_dim: int | None = None, convolution_bias: bool = True)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/fastspeech2_conformer/configuration_fastspeech2_conformer.py#L27)

**المعاملات:**

is_encoder_decoder (`bool`، *اختياري*، الافتراضي هو `True`) : ما إذا كان النموذج يُستخدم كمُشفِّر/مُفكِّك أم لا.

hidden_size (`int`، *اختياري*، القيمة الافتراضية `384`) : بُعد التمثيلات المخفية.

vocab_size (`int`، *اختياري*، القيمة الافتراضية `78`) : حجم مفردات النموذج. يحدد عدد الرموز المختلفة التي يمكن تمثيلها بواسطة `input_ids`.

num_mel_bins (`int`، *اختياري*، القيمة الافتراضية `80`) : عدد ميزات ميل المستخدمة لكل إطار إدخال. يجب أن يتوافق مع القيمة المستخدمة في فئة `AutoFeatureExtractor`.

encoder_num_attention_heads (`int`، *اختياري*، القيمة الافتراضية 2) : عدد رؤوس الانتباه في المُشفِّر.

encoder_layers (`int`، *اختياري*، القيمة الافتراضية `4`) : عدد الطبقات المخفية في مُشفِّر Transformer. سيستخدم القيمة نفسها لـ`num_layers` إذا لم يتم ضبطه.

encoder_linear_units (`int`، *اختياري*، القيمة الافتراضية 1536) : عدد الوحدات في الطبقة الخطية للمشفّر.

decoder_layers (`int`، *اختياري*، القيمة الافتراضية `4`) : عدد الطبقات المخفية في مُفكِّك Transformer. سيُستخدم نفس قيمة `num_layers` إذا لم يتم ضبطه.

decoder_num_attention_heads (`int`, *اختياري*, الافتراضي `2`) : عدد رؤوس الانتباه في كل طبقة انتباه داخل مُفكِّك Transformer.

decoder_linear_units (`int`، *اختياري*، القيمة الافتراضية 1536) : عدد الوحدات في الطبقة الخطية لفك الترميز.

speech_decoder_postnet_layers (`int`، *اختياري*، القيمة الافتراضية 5) : عدد الطبقات في الشبكة الخلفية (post-net) لفك ترميز الكلام.

speech_decoder_postnet_units (`int`، *اختياري*، القيمة الافتراضية 256) : عدد الوحدات في طبقات ما بعد الشبكة (post-net) في فاحص الكلام.

speech_decoder_postnet_kernel (`int`، *اختياري*، القيمة الافتراضية 5) : حجم النواة في الشبكة الخلفية (post-net) لفك ترميز الكلام.

positionwise_conv_kernel_size (`int`، *اختياري*، القيمة الافتراضية 3) : حجم نواة الالتفاف المستخدمة في الطبقة الموضعية.

encoder_normalize_before (`bool`، *اختياري*، الافتراضي `False`) : يحدد ما إذا كان سيتم تطبيع البيانات قبل طبقات المُشفِّر.

decoder_normalize_before (`bool`، *اختياري*، الافتراضي `False`) : يحدد ما إذا كان سيتم تطبيع القيم قبل طبقات المُفكِّك.

encoder_concat_after (`bool`، *اختياري*، القيمة الافتراضية `False`) : يحدد ما إذا كان يجب دمج المخرجات بعد طبقات المُشفِّر.

decoder_concat_after (`bool`، *اختياري*، الافتراضي `False`) : يحدد ما إذا كان يجب دمج النصوص بعد طبقات المُفكِّك.

reduction_factor (`int`، *اختياري*، القيمة الافتراضية 1) : العامل الذي تُخفَّض به سرعة إطار الكلام.

speaking_speed (`float`، *اختياري*، القيمة الافتراضية 1.0) : سرعة الكلام المُنتَج.

use_macaron_style_in_conformer (`bool`، *اختياري*، القيمة الافتراضية `True`) : يحدد ما إذا كان سيتم استخدام نمط ماكاريون في conformer.

use_cnn_in_conformer (`bool`، *اختياري*، القيمة الافتراضية `True`) : يحدد ما إذا كان سيتم استخدام الشبكات العصبية التلافيفية في conformer.

encoder_kernel_size (`int`، *اختياري*، القيمة الافتراضية 7) : حجم النواة المستخدمة في المُشفِّر.

decoder_kernel_size (`int`، *اختياري*، القيمة الافتراضية 31) : حجم النواة المستخدمة في المُفكِّك.

duration_predictor_layers (`int`، *اختياري*، القيمة الافتراضية 2) : عدد الطبقات في متنبئ المدة.

duration_predictor_channels (`int`، *اختياري*، القيمة الافتراضية 256) : عدد القنوات في متنبئ المدة.

duration_predictor_kernel_size (`int`، *اختياري*، القيمة الافتراضية 3) : حجم النواة المستخدم في متنبئ المدة.

energy_predictor_layers (`int`، *اختياري*، القيمة الافتراضية 2) : عدد الطبقات في متنبئ الطاقة.

energy_predictor_channels (`int`، *اختياري*، القيمة الافتراضية 256) : عدد القنوات في متنبئ الطاقة.

energy_predictor_kernel_size (`int`، *اختياري*، القيمة الافتراضية 3) : حجم النواة المستخدم في متنبئ الطاقة.

energy_predictor_dropout (`float`، *اختياري*، القيمة الافتراضية 0.5) : معدل الإسقاط (dropout) في متنبئ الطاقة.

energy_embed_kernel_size (`int`، *اختياري*، القيمة الافتراضية 1) : حجم النواة المستخدم في طبقة تضمين الطاقة.

energy_embed_dropout (`float`، *اختياري*، القيمة الافتراضية 0.0) : معدل الإسقاط (dropout) في طبقة تضمين الطاقة.

stop_gradient_from_energy_predictor (`bool`، *اختياري*، الافتراضي `False`) : يحدد ما إذا كان يجب إيقاف التدرجات من متنبئ الطاقة.

pitch_predictor_layers (`int`، *اختياري*، القيمة الافتراضية 5) : عدد الطبقات في متنبئ النغمة.

pitch_predictor_channels (`int`، *اختياري*، القيمة الافتراضية 256) : عدد القنوات في متنبئ النغمة.

pitch_predictor_kernel_size (`int`، *اختياري*، القيمة الافتراضية 5) : حجم النواة المستخدم في متنبئ الإيقاع.

pitch_predictor_dropout (`float`، *اختياري*، القيمة الافتراضية 0.5) : معدل الإسقاط (dropout) في متنبئ النغمة.

pitch_embed_kernel_size (`int`، *اختياري*، القيمة الافتراضية 1) : حجم النواة المستخدم في طبقة تضمين الإيقاع.

pitch_embed_dropout (`float`، *اختياري*، القيمة الافتراضية 0.0) : معدل الإسقاط في طبقة تضمين النغمة.

stop_gradient_from_pitch_predictor (`bool`، *اختياري*، القيمة الافتراضية `True`) : يحدد ما إذا كان يجب إيقاف التدرجات القادمة من متنبئ النغمة.

encoder_dropout_rate (`float`، *اختياري*، القيمة الافتراضية 0.2) : معدل الإسقاط (dropout) في المُشفِّر.

encoder_positional_dropout_rate (`float`، *اختياري*، القيمة الافتراضية 0.2) : معدل إسقاط الموضع في المُشفِّر.

encoder_attention_dropout_rate (`float`، *اختياري*، القيمة الافتراضية 0.2) : معدل إسقاط الانتباه في المُشفِّر.

decoder_dropout_rate (`float`، *اختياري*، القيمة الافتراضية 0.2) : معدل الإسقاط (dropout) في المُفكِّك (decoder).

decoder_positional_dropout_rate (`float`، *اختياري*، القيمة الافتراضية 0.2) : معدل إسقاط الموضع (positional dropout) في المُفكِّك (decoder).

decoder_attention_dropout_rate (`float`، *اختياري*، القيمة الافتراضية 0.2) : معدل إسقاط الانتباه (attention dropout) في المُفكِّك (decoder).

duration_predictor_dropout_rate (`float`، *اختياري*، القيمة الافتراضية 0.2) : معدل الإسقاط (dropout) في متنبئ المدة.

speech_decoder_postnet_dropout (`float`، *اختياري*، القيمة الافتراضية 0.5) : معدل الإسقاط (dropout) في الشبكة الخلفية (postnet) لفك ترميز الكلام.

max_source_positions (`int`، *اختياري*، القيمة الافتراضية 5000) : إذا تم استخدام تضمينات الموضع `"relative"`، يحدد هذا المعلمة أقصى مواضع الإدخال المصدرية.

use_masking (`bool`، *اختياري*، القيمة الافتراضية `True`) : يحدد ما إذا كان سيتم استخدام الأقنعة (masking) في النموذج.

use_weighted_masking (`bool`، *اختياري*، القيمة الافتراضية `False`) : يحدد ما إذا كان سيتم استخدام الأقنعة الموزونة في النموذج.

num_speakers (`int`, *اختياري*) : عدد المتكلمين. إذا تم ضبطه على قيمة > 1، يُفترض أن معرّفات المتكلمين ستُقدَّم كمدخلات، وسيتم استخدام طبقة تضمين معرّف المتكلم.

num_languages (`int`, *اختياري*) : عدد اللغات. إذا تم ضبطه على قيمة > 1، يُفترض أن معرّفات اللغات ستُوفَّر كمدخلات، وسيتم استخدام طبقة تضمين معرّف اللغة.

speaker_embed_dim (`int`, *اختياري*) : بُعد تضمين المتحدث. إذا تم ضبطه على قيمة > 0، يُفترض أن يتم توفير speaker_embedding كمدخل.

convolution_bias (`bool`، *اختياري*، الافتراضي `True`) : يحدد ما إذا كان سيتم استخدام الانحياز (bias) في عمليات الالتفاف (convolutions) داخل وحدة الالتفاف الخاصة بـ conformer.

هذه فئة الإعدادات المخزنة لإعدادات نموذج FastSpeech2ConformerModel. تُستخدم لاستحداث نموذج Fastspeech2 Conformer وفقاً للحجج المحددة، مع تعريف بنية النموذج. إن استحداث إعدادات باستخدام القيم الافتراضية سيؤدي إلى إعدادات مشابهة لتلك الخاصة بـ [espnet/fastspeech2_conformer](https://huggingface.co/espnet/fastspeech2_conformer)

ترث كائنات الإعداد من [PreTrainedConfig](/docs/transformers/v5.23.0/ar/main_classes/configuration#transformers.PreTrainedConfig) ويمكن استخدامها للتحكم في مخرجات النموذج. اقرأ التوثيق الخاص بـ [PreTrainedConfig](/docs/transformers/v5.23.0/ar/main_classes/configuration#transformers.PreTrainedConfig) لمزيد من المعلومات.

مثال:

```python
>>> from transformers import FastSpeech2ConformerModel, FastSpeech2ConformerConfig

>>> # Initializing a FastSpeech2Conformer style configuration
>>> configuration = FastSpeech2ConformerConfig()

>>> # Initializing a model from the FastSpeech2Conformer style configuration
>>> model = FastSpeech2ConformerModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config
```

## FastSpeech2ConformerHifiGanConfig[[transformers.FastSpeech2ConformerHifiGanConfig]]

#### transformers.FastSpeech2ConformerHifiGanConfig[[transformers.FastSpeech2ConformerHifiGanConfig]]

```python
transformers.FastSpeech2ConformerHifiGanConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, model_in_dim: int = 80, upsample_initial_channel: int = 512, upsample_rates: list[int] | tuple[int, ...] = (8, 8, 2, 2), upsample_kernel_sizes: list[int] | tuple[int, ...] = (16, 16, 4, 4), resblock_kernel_sizes: list[int] | tuple[int, ...] = (3, 7, 11), resblock_dilation_sizes: list | tuple | None = None, initializer_range: float = 0.01, leaky_relu_slope: float = 0.1, normalize_before: bool = True)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/fastspeech2_conformer/configuration_fastspeech2_conformer.py#L267)

**المعاملات:**

model_in_dim (`int`، *اختياري*، القيمة الافتراضية 80) : عدد خلايا التردد في مطياف اللوغ-ميل المدخل.

upsample_initial_channel (`int`، *اختياري*، القيمة الافتراضية 512) : عدد قنوات الإدخال إلى شبكة رفع العينة.

upsample_rates (`tuple[int]` أو `list[int]`، *اختياري*، القيمة الافتراضية هي `[8, 8, 2, 2]`) : مجموعة من الأعداد الصحيحة تُعرّف خطوة كل طبقة تلافية أحادية البعد في شبكة إعادة التصغير. يحدد طول *upsample_rates* عدد طبقات التلافية، ويجب أن يطابق طول *upsample_kernel_sizes*.

upsample_kernel_sizes (`tuple[int]` أو `list[int]`، *اختياري*، القيمة الافتراضية هي `[16, 16, 4, 4]`) : مجموعة من الأعداد الصحيحة تحدد حجم النواة لكل طبقة تلافية أحادية البعد في شبكة إعادة التصغير. يحدد طول *upsample_kernel_sizes* عدد الطبقات التلافية، ويجب أن يطابق طول *upsample_rates*.

resblock_kernel_sizes (`tuple[int]` أو `list[int]`، *اختياري*، القيمة الافتراضية هي `[3, 7, 11]`) : مجموعة من الأعداد الصحيحة تحدد أحجام النواة للطبقات التلافيفية أحادية البعد في وحدة دمج الحقول الاستقبالية المتعددة (MRF).

resblock_dilation_sizes (`tuple[tuple[int]]` أو `list[list[int]]`، *اختياري*، القيمة الافتراضية هي `[[1, 3, 5], [1, 3, 5], [1, 3, 5]]`) : مجموعة tuples متداخلة من الأعداد الصحيحة تحدد معدلات التمدد (dilation rates) لطبقات الالتفاف أحادية البعد المتمددة (dilated 1D convolutional layers) داخل وحدة دمج الحقول متعددة الاستقبال (MRF).

initializer_range (`float`، *اختياري*، القيمة الافتراضية `0.01`) : الانحراف المعياري لـ truncated_normal_initializer المستخدم لتجميع جميع مصفوفات الأوزان.

leaky_relu_slope (`float`، *اختياري*، القيمة الافتراضية 0.1) : زاوية الميل السالب المستخدمة في دالة التنشيط Leaky ReLU.

normalize_before (`bool`، *اختياري*، القيمة الافتراضية `True`) : ما إذا كان سيتم تطبيع الطيف الصوتي قبل الترميز الصوتي باستخدام المتوسط والتباين المتعلمين من المُرمِّز الصوتي.

هذه فئة الإعدادات (configuration class) لتخزين إعدادات نموذج FastSpeech2ConformerModel. تُستخدم لاستحداث نموذج Fastspeech2 Conformer وفقاً للحجج المحددة، مع تعريف بنية النموذج. إن استحداث إعدادات باستخدام القيم الافتراضية سيؤدي إلى الحصول على إعدادات مشابهة لتلك الخاصة بـ [espnet/fastspeech2_conformer_with_hifigan](https://huggingface.co/espnet/fastspeech2_conformer_with_hifigan)

ترث كائنات الإعداد من [PreTrainedConfig](/docs/transformers/v5.23.0/ar/main_classes/configuration#transformers.PreTrainedConfig) ويمكن استخدامها للتحكم في مخرجات النموذج. اقرأ التوثيق الخاص بـ [PreTrainedConfig](/docs/transformers/v5.23.0/ar/main_classes/configuration#transformers.PreTrainedConfig) لمزيد من المعلومات.

مثال:

```python
>>> from transformers import FastSpeech2ConformerHifiGan, FastSpeech2ConformerHifiGanConfig

>>> # Initializing a FastSpeech2ConformerHifiGan configuration
>>> configuration = FastSpeech2ConformerHifiGanConfig()

>>> # Initializing a model (with random weights) from the configuration
>>> model = FastSpeech2ConformerHifiGan(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config
```

## FastSpeech2ConformerWithHifiGanConfig[[transformers.FastSpeech2ConformerWithHifiGanConfig]]

#### transformers.FastSpeech2ConformerWithHifiGanConfig[[transformers.FastSpeech2ConformerWithHifiGanConfig]]

```python
transformers.FastSpeech2ConformerWithHifiGanConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, model_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, vocoder_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/fastspeech2_conformer/configuration_fastspeech2_conformer.py#L328)

**المعاملات:**

model_config (`FastSpeech2ConformerConfig | dict`، *اختياري*) : إعدادات نموذج تحويل النص إلى كلام.

vocoder_config (`FastSpeech2ConformerHiFiGanConfig | dict`، *اختياري*) : إعدادات نموذج المُصوِّت (vocoder).

هذه فئة الإعدادات (configuration class) لتخزين إعدادات نموذج FastSpeech2ConformerModel. تُستخدم لاستحداث نموذج Fastspeech2 Conformer وفقاً للحجج المحددة، مع تعريف بنية النموذج. إن استحداث إعدادات باستخدام القيم الافتراضية سيؤدي إلى الحصول على إعدادات مشابهة لتلك الخاصة بـ [espnet/fastspeech2_conformer_with_hifigan](https://huggingface.co/espnet/fastspeech2_conformer_with_hifigan)

ترث كائنات الإعداد من [PreTrainedConfig](/docs/transformers/v5.23.0/ar/main_classes/configuration#transformers.PreTrainedConfig) ويمكن استخدامها للتحكم في مخرجات النموذج. اقرأ التوثيق الخاص بـ [PreTrainedConfig](/docs/transformers/v5.23.0/ar/main_classes/configuration#transformers.PreTrainedConfig) لمزيد من المعلومات.

مثال:

```python
>>> from transformers import (
...     FastSpeech2ConformerConfig,
...     FastSpeech2ConformerHifiGanConfig,
...     FastSpeech2ConformerWithHifiGanConfig,
...     FastSpeech2ConformerWithHifiGan,
... )

>>> # Initializing FastSpeech2ConformerWithHifiGan sub-modules configurations.
>>> model_config = FastSpeech2ConformerConfig()
>>> vocoder_config = FastSpeech2ConformerHifiGanConfig()

>>> # Initializing a FastSpeech2ConformerWithHifiGan module style configuration
>>> configuration = FastSpeech2ConformerWithHifiGanConfig(model_config.to_dict(), vocoder_config.to_dict())

>>> # Initializing a model (with random weights)
>>> model = FastSpeech2ConformerWithHifiGan(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config
```

## FastSpeech2ConformerTokenizer[[transformers.FastSpeech2ConformerTokenizer]]

#### transformers.FastSpeech2ConformerTokenizer[[transformers.FastSpeech2ConformerTokenizer]]

```python
transformers.FastSpeech2ConformerTokenizer(vocab_file, bos_token = '<sos/eos>', eos_token = '<sos/eos>', pad_token = '<blank>', unk_token = '<unk>', should_strip_spaces = False, **kwargs)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/fastspeech2_conformer/tokenization_fastspeech2_conformer.py#L30)

**المعاملات:**

vocab_file (`str`) : مسار ملف المفردات.

bos_token (`str`، *اختياري*، القيمة الافتراضية `"<sos/eos>"`) : رمز بداية التسلسل. لاحظ أنه في FastSpeech2، يكون هذا الرمز هو نفسه `eos_token`.

eos_token (`str`، *اختياري*، القيمة الافتراضية `"<sos/eos>"`) : رمز نهاية التسلسل. لاحظ أنه في FastSpeech2، يكون هذا الرمز هو نفسه `bos_token`.

pad_token (`str`، *اختياري*، القيمة الافتراضية `"<blank>"`) : الرمز المستخدم للتعبئة (padding)، على سبيل المثال عند تجميع تسلسلات ذات أطوال مختلفة.

unk_token (`str`، *اختياري*، القيمة الافتراضية `"<unk>"`) : رمز المجهول. الرمز غير الموجود في قاموس الكلمات لا يمكن تحويله إلى معرّف، لذا يُعيَّن هذا الرمز بدلاً منه.

should_strip_spaces (`bool`، *اختياري*، القيمة الافتراضية `False`) : ما إذا كان يجب إزالة المسافات من قائمة الرموز اللغوية أم لا.

أنشئ مُرمِّز FastSpeech2Conformer.

#### __call__[[transformers.FastSpeech2ConformerTokenizer.__call__]]

```python
__call__(text: TextInput | PreTokenizedInput | list[TextInput] | list[PreTokenizedInput] | None = None, text_pair: TextInput | PreTokenizedInput | list[TextInput] | list[PreTokenizedInput] | None = None, text_target: TextInput | PreTokenizedInput | list[TextInput] | list[PreTokenizedInput] | None = None, text_pair_target: TextInput | PreTokenizedInput | list[TextInput] | list[PreTokenizedInput] | None = None, add_special_tokens: bool = True, padding: bool | str | PaddingStrategy = False, truncation: bool | str | TruncationStrategy | None = None, max_length: int | None = None, stride: int = 0, is_split_into_words: bool = False, pad_to_multiple_of: int | None = None, padding_side: str | None = None, return_tensors: str | TensorType | None = None, return_token_type_ids: bool | None = None, return_attention_mask: bool | None = None, return_overflowing_tokens: bool = False, return_special_tokens_mask: bool = False, return_offsets_mapping: bool = False, return_length: bool = False, verbose: bool = True, tokenizer_kwargs: dict[str, Any] | None = None, **kwargs)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_base.py#L2448)

**المعاملات:**

text (`str`، `list[str]`، `list[list[str]]`، *اختياري*) : التسلسل أو الدفعة من التسلسلات المراد ترميزها. يمكن أن يكون كل تسلسل نصًا أو قائمة من النصوص (نص مُجزَّأ مسبقًا). إذا تم تقديم التسلسلات على شكل قائمة من النصوص (مُجزَّأة مسبقًا)، فيجب تعيين `is_split_into_words=True` (لرفع الغموض مع دفعة من التسلسلات).

text_pair (`str`، `list[str]`، `list[list[str]]`، *اختياري*) : التسلسل أو الدفعة من التسلسلات المراد ترميزها. يمكن أن يكون كل تسلسل نصًا أو قائمة من النصوص (نص مُجزَّأ مسبقًا). إذا تم تقديم التسلسلات على شكل قائمة من النصوص (مُجزَّأة مسبقًا)، فيجب تعيين `is_split_into_words=True` (لرفع الغموض مع دفعة من التسلسلات).

text_target (`str`، `list[str]`، `list[list[str]]`، *اختياري*) : التسلسل أو الدفعة من التسلسلات المراد ترميزها كنصوص هدف. يمكن أن يكون كل تسلسل نصًا أو قائمة من النصوص (نص مُقسَّم مسبقًا إلى وحدات). إذا تم تقديم التسلسلات على شكل قائمة من النصوص (مقسمة مسبقًا)، فيجب تعيين `is_split_into_words=True` (لرفع الغموض مع دفعة من التسلسلات).

text_pair_target (`str`، `list[str]`، `list[list[str]]`، *اختياري*) : التسلسل أو الدفعة من التسلسلات المراد ترميزها كنصوص هدف. يمكن أن يكون كل تسلسل نصًا أو قائمة من النصوص (نص مُقسَّم مسبقًا إلى وحدات). إذا تم تقديم التسلسلات على شكل قائمة من النصوص (مقسمة مسبقًا)، فيجب تعيين `is_split_into_words=True` (لرفع الغموض مع دفعة من التسلسلات).

tokenizer_kwargs (`dict[str, Any]`، *اختياري*) : معاملات إضافية (kwargs) تُمرَّر إلى مُجزِّئ الرموز (tokenizer). سيتم دمج هذه المعاملات مع المعاملات الصريحة وغيرها من المعاملات الإضافية، مع إعطاء الأولوية للمعاملات الصريحة.

add_special_tokens (`bool`، *اختياري*، القيمة الافتراضية `True`) : ما إذا كان يجب إضافة الرموز الخاصة عند ترميز التسلسلات أم لا. سيستخدم هذا الدالة الأساسية `PretrainedTokenizerBase.build_inputs_with_special_tokens`، التي تحدد الرموز التي تُضاف تلقائيًا إلى معرّفات الإدخال. وهذا مفيد إذا كنت ترغب في إضافة رموز `bos` أو `eos` تلقائيًا.

padding (`bool` أو `str` أو [PaddingStrategy](/docs/transformers/v5.23.0/ar/internal/file_utils#transformers.utils.PaddingStrategy)، *اختياري*، القيمة الافتراضية هي `False`) : يُفعّل التحكم في الحشو. يقبل القيم التالية:  - `True` أو `'longest'`: حشو حتى أطول تسلسل في الدفعة (أو بدون حشو إذا تم تقديم تسلسل واحد فقط). - `'max_length'`: حشو حتى الحد الأقصى للطول المحدد بواسطة الحجة `max_length` أو حتى الحد الأقصى المقبول لطول الإدخال للنموذج إذا لم تُقدَّم تلك الحجة. - `False` أو `'do_not_pad'` (الافتراضي): بدون حشو (أي، يمكنه إخراج دفعة تحتوي على تسلسلات بطول مختلف).

truncation (`bool` أو `str` أو [TruncationStrategy](/docs/transformers/v5.23.0/ar/internal/tokenization_utils#transformers.tokenization_utils_base.TruncationStrategy)، *اختياري*، القيمة الافتراضية `False`) : يُفعّل التحكم في القص. يقبل القيم التالية:  - `True` أو `'longest_first'`: يُقصّ إلى الحد الأقصى للطول المحدد عبر الحجة `max_length` أو إلى الحد الأقصى لطول الإدخال المقبول للنموذج إذا لم تُقدَّم تلك الحجة. سيؤدي هذا إلى القص رمزًا تلو الآخر، مع إزالة رمز من أطول تسلسل في الزوج إذا قُدِّم زوج من التسلسلات (أو دفعة من الأزواج). - `'only_first'`: يُقصّ إلى الحد الأقصى للطول المحدد عبر الحجة `max_length` أو إلى الحد الأقصى لطول الإدخال المقبول للنموذج إذا لم تُقدَّم تلك الحجة. سيؤدي هذا إلى قصّ التسلسل الأول من الزوج فقط إذا قُدِّم زوج من التسلسلات (أو دفعة من الأزواج). - `'only_second'`: يُقصّ إلى الحد الأقصى للطول المحدد عبر الحجة `max_length` أو إلى الحد الأقصى لطول الإدخال المقبول للنموذج إذا لم تُقدَّم تلك الحجة. سيؤدي هذا إلى قصّ التسلسل الثاني من الزوج فقط إذا قُدِّم زوج من التسلسلات (أو دفعة من الأزواج). - `False` أو `'do_not_truncate'` (الافتراضي): لا يوجد قص (أي، يمكن إخراج دفعة بأطوال تسلسلات أكبر من الحد الأقصى المقبول لحجم الإدخال للنموذج).

max_length (`int`, *اختياري*) : يتحكم في الحد الأقصى للطول الذي سيستخدمه أحد معاملات القص/الحشو. إذا تُرك غير مضبوط أو ضُبط على `None`، فسيتم استخدام الحد الأقصى للطول المحدد مسبقًا للنموذج إذا كان أحد معاملات القص/الحشو يتطلب حدًا أقصى للطول. إذا لم يكن للنموذج حد أقصى محدد لطول الإدخال (مثل XLNet)، فسيتم تعطيل القص/الحشو إلى حد أقصى للطول.

stride (`int`، *اختياري*، القيمة الافتراضية 0) : إذا تم تعيينه إلى رقم مع `max_length`، فإن الرموز الزائدة المُعاد عند `return_overflowing_tokens=True` ستحتوي على بعض الرموز من نهاية التسلسل المُقتطع المُعاد، لتوفير بعض التداخل بين التسلسلات المُقتطعة والتسلسلات الزائدة. تحدد قيمة هذا الحجة عدد الرموز المتداخلة.

is_split_into_words (`bool`، *اختياري*، القيمة الافتراضية `False`) : ما إذا كانت المدخلات مُجزّأة مسبقًا (مثل تقسيمها إلى كلمات) أم لا. إذا تم ضبطها على `True`، يفترض المُجزّئ أن المدخلات مُقسّمة مسبقًا إلى كلمات (على سبيل المثال، عن طريق تقسيمها على المسافات) وسيُجزّئها. هذا مفيد في مهام تحديد الكيانات الاسمية أو تصنيف الرموز.

pad_to_multiple_of (`int`, *اختياري*) : إذا تم ضبطه، سيتم توسيط التسلسل إلى مضاعف للقيمة المُقدَّمة. يتطلب تفعيل `padding`. وهذا مفيد بشكل خاص لتمكين استخدام نوى التENSOR على أجهزة NVIDIA التي تتمتع بقابلية حسابية `>= 7.5` (Volta).

padding_side (`str`، *اختياري*) : الجانب الذي يجب تطبيق الحشو عليه في النموذج. يجب اختياره من بين ['right', 'left']. القيمة الافتراضية تُستخرج من سمة الفئة التي تحمل الاسم نفسه.

return_tensors (`str` أو [TensorType](/docs/transformers/v5.23.0/ar/internal/file_utils#transformers.TensorType)، *اختياري*) : إذا تم تعيينه، فسيُرجع تينسورات بدلاً من قائمة من الأعداد الصحيحة بلغة بايثون. القيم المقبولة هي: - `'pt'`: يُرجع كائنات `torch.Tensor` من PyTorch. - `'np'`: يُرجع كائنات `np.ndarray` من Numpy.

return_token_type_ids (`bool`، *اختياري*) : ما إذا كان يجب إرجاع معرّفات أنواع الرموز. إذا تُركت القيمة الافتراضية، فسيتم إرجاع معرّفات أنواع الرموز وفقًا للقيمة الافتراضية الخاصة بمجزّئ الرموز المحدد، كما تحددها خاصية `return_outputs`.  [ما هي معرّفات أنواع الرموز؟](../glossary#token-type-ids)

return_attention_mask (`bool`، *اختياري*) : ما إذا كان يجب إرجاع قناع الانتباه. إذا تُركت القيمة الافتراضية، فسيتم إرجاع قناع الانتباه وفقاً للقيمة الافتراضية الخاصة بمجزّئ الرموز المعني، كما هو معرّف بواسطة الخاصية `return_outputs`.  [ما هي أقنعة الانتباه؟](../glossary#attention-mask)

return_overflowing_tokens (`bool`، *اختياري*، القيمة الافتراضية `False`) : ما إذا كان سيتم إرجاع تسلسلات الرموز المتجاوزة أم لا. إذا تم تقديم زوج من تسلسلات معرّفات الإدخال (أو دفعة من الأزواج) مع `truncation_strategy = longest_first` أو `True`، فسيتم رفع خطأ بدلاً من إرجاع الرموز المتجاوزة.

return_special_tokens_mask (`bool`، *اختياري*، القيمة الافتراضية `False`) : ما إذا كان سيتم إرجاع معلومات قناع الرموز الخاصة أم لا.

return_offsets_mapping (`bool`، *اختياري*، القيمة الافتراضية `False`) : ما إذا كان يجب إرجاع `(char_start, char_end)` لكل رمز. هذه الخاصية متاحة فقط في مُرمّزيات fast التي ترث من [PreTrainedTokenizerFast](/docs/transformers/v5.23.0/ar/main_classes/tokenizer#transformers.TokenizersBackend)، وإذا كنت تستخدم مُرمّزي Python، فسيُطلق هذا الدالة `NotImplementedError`.

return_length (`bool`، *اختياري*، الافتراضي `False`) : ما إذا كان يجب إرجاع أطوال المدخلات المُرمّزة أم لا.

verbose (`bool`، *اختياري*، القيمة الافتراضية `True`) : ما إذا كان يجب طباعة مزيد من المعلومات والتنبيهات أم لا.

- ****kwargs** : تُمرَّر إلى طريقة `self.tokenize()`

**يعيد:** [BatchEncoding](/docs/transformers/v5.23.0/ar/main_classes/tokenizer#transformers.BatchEncoding)

[BatchEncoding](/docs/transformers/v5.23.0/ar/main_classes/tokenizer#transformers.BatchEncoding) يحتوي على الحقول التالية:

- **input_ids** -- قائمة معرّفات الرموز المراد تغذيتها إلى النموذج.

  [ما هي معرّفات الإدخال؟](../glossary#input-ids)

- **token_type_ids** -- قائمة معرّفات أنواع الرموز التي تُمرَّر إلى النموذج (عندما يكون `return_token_type_ids=True` أو إذا كان *"token_type_ids"* ضمن `self.model_input_names`).

  [ما هي معرّفات أنواع الرموز؟](../glossary#token-type-ids)

- **attention_mask** -- قائمة بالفهارس تحدد الرموز التي يجب على النموذج الانتباه إليها (عندما يكون `return_attention_mask=True` أو إذا كان *"attention_mask"* ضمن `self.model_input_names`).

  [ما هي أقنعة الانتباه؟](../glossary#attention-mask)

- **overflowing_tokens** -- قائمة تسلسلات الرموز الزائدة (عند تحديد `max_length` و`return_overflowing_tokens=True`).
- **num_truncated_tokens** -- عدد الرموز التي تم اقتطاعها (عند تحديد `max_length` و`return_overflowing_tokens=True`).
- **special_tokens_mask** -- قائمة من الأصفار والواحدات، حيث تشير 1 إلى الرموز الخاصة المضافة وتُشير 0 إلى رموز التسلسل العادية (عندما تكون `add_special_tokens=True` و`return_special_tokens_mask=True`).
- **length** -- طول المدخلات (عندما يكون `return_length=True`)

الطريقة الرئيسية لتجزئة (tokenization) وتجهيز تسلسل واحد أو عدة تسلسلات، أو زوج واحد أو عدة أزواج من التسلسلات، للنموذج.

#### save_vocabulary[[transformers.FastSpeech2ConformerTokenizer.save_vocabulary]]

```python
save_vocabulary(save_directory: str, filename_prefix: str | None = None)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/fastspeech2_conformer/tokenization_fastspeech2_conformer.py#L145)

**المعاملات:**

save_directory (`str`) : المجلد الذي سيتم فيه حفظ مفردات اللغة.

**يعيد:** `Tuple(str)`

مسارات الملفات المحفوظة.

احفظ ملف المفردات والرموز الخاصة في مجلد.

#### فك الترميز[[transformers.FastSpeech2ConformerTokenizer.decode]]

```python
decode(token_ids, **kwargs)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/fastspeech2_conformer/tokenization_fastspeech2_conformer.py#L132)

#### batch_decode[[transformers.FastSpeech2ConformerTokenizer.batch_decode]]

```python
batch_decode(sequences: list[int] | list[list[int]] | np.ndarray | torch.Tensor, skip_special_tokens: bool = False, clean_up_tokenization_spaces: bool | None = None, **kwargs)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_base.py#L2932)

**المعاملات:**

sequences (`Union[list[int], list[list[int]], np.ndarray, torch.Tensor]`) : قائمة معرّفات المدخلات المُرمّزة. يمكن الحصول عليها باستخدام طريقة `__call__`.

skip_special_tokens (`bool`، *اختياري*، القيمة الافتراضية `False`) : ما إذا كان يجب إزالة الرموز الخاصة أثناء فك الترميز أم لا.

clean_up_tokenization_spaces (`bool`، *اختياري*) : ما إذا كان سيتم تنظيف مسافات الترميز أم لا. إذا كانت `None`، فسيتم افتراض `self.clean_up_tokenization_spaces`.

kwargs (حجج كلمات مفتاحية إضافية، *اختيارية*) : سيتم تمريرها إلى طريقة فك الترميز الخاصة بالنموذج الأساسي.

**يعيد:** `list[str]`

قائمة الجمل المُفكَّكة.

تحويل قائمة من قوائم معرّفات الرموز إلى قائمة من النصوص عن طريق استدعاء decode.

تُوفَّر هذه الطريقة من أجل التوافق مع الإصدارات السابقة. تتعامل طريقة `decode` الآن مع المدخلات المجمعة بشكل أصلي، لذا يمكنك استخدام `decode` مباشرة بدلاً من `batch_decode`.

## FastSpeech2ConformerModel[[transformers.FastSpeech2ConformerModel]]

#### transformers.FastSpeech2ConformerModel[[transformers.FastSpeech2ConformerModel]]

```python
transformers.FastSpeech2ConformerModel(config: FastSpeech2ConformerConfig)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/fastspeech2_conformer/modeling_fastspeech2_conformer.py#L1021)

**المعاملات:**

config ([FastSpeech2ConformerConfig](/docs/transformers/v5.23.0/ar/model_doc/fastspeech2_conformer#transformers.FastSpeech2ConformerConfig)) : فئة إعدادات النموذج التي تحتوي على جميع معاملات النموذج. عند التهيئة باستخدام ملف إعدادات، لا يتم تحميل الأوزان المرتبطة بالنموذج، بل الإعدادات فقط. راجع طريقة [from_pretrained()](/docs/transformers/v5.23.0/ar/main_classes/model#transformers.PreTrainedModel.from_pretrained) لتحميل أوزان النموذج.

نموذج FastSpeech2Conformer.

يرث هذا النموذج من [PreTrainedModel](/docs/transformers/v5.23.0/ar/main_classes/model#transformers.PreTrainedModel). راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع نماذجها (مثل التنزيل أو الحفظ، وتغيير حجم تضمينات الإدخال، وقص الرؤوس، وما إلى ذلك).

هذا النموذج هو أيضاً فئة فرعية من [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) في PyTorch. استخدمه كوحدة PyTorch عادية، وارجع إلى توثيق PyTorch لكل ما يتعلق بالاستخدام العام والسلوك.

#### forward[[transformers.FastSpeech2ConformerModel.forward]]

```python
forward(input_ids: LongTensor, attention_mask: typing.Optional[torch.LongTensor] = None, spectrogram_labels: typing.Optional[torch.Tensor] = None, duration_labels: typing.Optional[torch.LongTensor] = None, pitch_labels: typing.Optional[torch.Tensor] = None, energy_labels: typing.Optional[torch.Tensor] = None, speaker_ids: typing.Optional[torch.LongTensor] = None, lang_ids: typing.Optional[torch.LongTensor] = None, speaker_embedding: typing.Optional[torch.Tensor] = None, return_dict: bool | None = None, output_attentions: bool | None = None, output_hidden_states: bool | None = None, **kwargs)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/fastspeech2_conformer/modeling_fastspeech2_conformer.py#L1098)

**المعاملات:**

input_ids (`torch.LongTensor` من الشكل `(batch_size, sequence_length)`) : تسلسل مدخل من متجهات النص.

attention_mask (`torch.LongTensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : قناع لتجنّب تنفيذ الانتباه على فهارس رموز الحشو. قيم القناع المختارة من `[0, 1]`: - 1 للرموز **غير المقنّعة**، - 0 للرموز **المقنّعة**. [ما هي أقنعة الانتباه؟](../glossary#attention-mask)

spectrogram_labels (`torch.Tensor` من الشكل `(batch_size, max_spectrogram_length, num_mel_bins)`، *اختياري*، القيمة الافتراضية `None`) : دفعة من الميزات المستهدفة المُكمّلة.

duration_labels (`torch.LongTensor` من الشكل `(batch_size, sequence_length + 1)`، *اختياري*، القيمة الافتراضية `None`) : دفعة من المدد المُكمّلة.

pitch_labels (`torch.Tensor` من الشكل `(batch_size, sequence_length + 1, 1)`، *اختياري*، القيمة الافتراضية `None`) : دفعة من نغمات الرموز المتوسطة معبأة.

energy_labels (`torch.Tensor` من الشكل `(batch_size, sequence_length + 1, 1)`، *اختياري*، القيمة الافتراضية `None`) : دفعة من الطاقة المتوسطة على مستوى الرموز مع الحشو.

speaker_ids (`torch.LongTensor` من الشكل `(batch_size, 1)`، *اختياري*، القيمة الافتراضية `None`) : معرّفات المتحدّثين المستخدمة لتكييف ميزات مخرجات الكلام من النموذج.

lang_ids (`torch.LongTensor` من الشكل `(batch_size, 1)`، *اختياري*، القيمة الافتراضية `None`) : معرّفات اللغة المستخدمة لتكييف ميزات مخرجات الكلام بواسطة النموذج.

speaker_embedding (`torch.Tensor` من الشكل `(batch_size, embedding_dim)`، *اختياري*، القيمة الافتراضية `None`) : تضمين يحتوي على إشارات التكييف لميزات الكلام.

return_dict (`bool`، *اختياري*) : ما إذا كان سيتم إرجاع [ModelOutput](/docs/transformers/v5.23.0/ar/main_classes/output#transformers.utils.ModelOutput) بدلاً من tuple عادي.

output_attentions (`bool`، *اختياري*) : ما إذا كان سيتم إرجاع مصفوفات الانتباه لجميع طبقات الانتباه. راجع `attentions` ضمن المصفوفات المُرجعة لمزيد من التفاصيل.

output_hidden_states (`bool`, *اختياري*) : ما إذا كان سيتم إرجاع الحالات المخفية لجميع الطبقات. راجع `hidden_states` ضمن الموترات المُرجعة لمزيد من التفاصيل.

**يعيد:** `FastSpeech2ConformerModelOutput` أو `tuple(torch.Tensor)`

`FastSpeech2ConformerModelOutput` أو مجموعة مرتبة من `torch.Tensor` (إذا تم تمرير `return_dict=False` أو عندما يكون `config.return_dict=False`) وتتضمن عناصر مختلفة اعتماداً على الإعداد ([FastSpeech2ConformerConfig](/docs/transformers/v5.23.0/ar/model_doc/fastspeech2_conformer#transformers.FastSpeech2ConformerConfig)) والمدخلات.

تتجاوز طريقة [FastSpeech2ConformerModel](/docs/transformers/v5.23.0/ar/model_doc/fastspeech2_conformer#transformers.FastSpeech2ConformerModel) الخاصة بالتقديم (forward) الطريقة الخاصة `__call__`.

على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن `Module` بدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت.

- **loss** (`torch.Tensor` من الشكل `(1,)`، *اختياري*، يُعاد عند توفير `labels`) -- خسارة توليد الطيف الصوتي.
- **مطياف الصوت** (`torch.Tensor` من الشكل `(batch_size, sequence_length, num_bins)`, *اختياري*) -- مطياف الصوت المتوقع.
- **encoder_last_hidden_state** (`torch.Tensor` بشكل `(batch_size, sequence_length, hidden_size)`، *اختياري*) -- سلسلة من حالات الإخفاء عند مخرجات الطبقة الأخيرة من المُشفِّر في النموذج.
- **encoder_hidden_states** (`tuple[torch.Tensor]`, *اختياري*, يُعاد عند تمرير `output_hidden_states=True` أو عند `config.output_hidden_states=True`) -- مجموعة مرتبة من `torch.Tensor` (واحدة لمخرجات التضمينات، إذا كان النموذج يحتوي على طبقة تضمين، + واحدة لمخرجات كل طبقة) من الشكل `(batch_size, sequence_length, hidden_size)`.

  حالات المخفية للمشفّر عند مخرج كل طبقة بالإضافة إلى مخرجات التضمين الأولي.
- **encoder_attentions** (`tuple[torch.Tensor]`, *اختياري*, يُعاد عند تمرير `output_attentions=True` أو عند `config.output_attentions=True`) -- مجموعة مرتبة من `torch.Tensor` (واحدة لكل طبقة) بأبعاد `(batch_size, num_heads, sequence_length, sequence_length)`.

  أوزان الانتباه للمُشفِّر، بعد softmax للانتباه، المُستخدَمة لحساب المتوسط الموزون في رؤوس الانتباه الذاتي.
- **decoder_hidden_states** (`tuple[torch.Tensor]`, *اختياري*, يُعاد عند تمرير `output_hidden_states=True` أو عند `config.output_hidden_states=True`) -- مجموعة مرتبة من `torch.Tensor` (واحدة لمخرجات التضمينات، إذا كان النموذج يحتوي على طبقة تضمين، + واحدة لمخرجات كل طبقة) من الشكل `(batch_size, sequence_length, hidden_size)`.

  حالات المخفية (Hidden states) لمفكّك الترميز (decoder) عند مخرج كل طبقة بالإضافة إلى مخرجات التضمين الأولي (initial embedding).
- **decoder_attentions** (`tuple[torch.Tensor]`, *اختياري*, يُعاد عند تمرير `output_attentions=True` أو عند `config.output_attentions=True`) -- مجموعة مرتبة من `torch.Tensor` (واحدة لكل طبقة) بأبعاد `(batch_size, num_heads, sequence_length, sequence_length)`.

  أوزان الانتباه في المفكّك، بعد softmax الانتباه، المستخدمة لحساب المتوسط المرجّح في رؤوس الانتباه الذاتي.
- **duration_outputs** (`torch.LongTensor` من الشكل `(batch_size, max_text_length + 1)`، *اختياري*) -- مخرجات متنبئ المدة.
- **pitch_outputs** (`torch.Tensor` من الشكل `(batch_size, max_text_length + 1, 1)`، *اختياري*) -- مخرجات متنبئ النغمة.
- **energy_outputs** (`torch.Tensor` من الشكل `(batch_size, max_text_length + 1, 1)`، *اختياري*) -- مخرجات متنبئ الطاقة.

مثال:

```python
>>> from transformers import (
...     FastSpeech2ConformerTokenizer,
...     FastSpeech2ConformerModel,
...     FastSpeech2ConformerHifiGan,
... )

>>> tokenizer = FastSpeech2ConformerTokenizer.from_pretrained("espnet/fastspeech2_conformer")
>>> inputs = tokenizer("some text to convert to speech", return_tensors="pt")
>>> input_ids = inputs["input_ids"]

>>> model = FastSpeech2ConformerModel.from_pretrained("espnet/fastspeech2_conformer")
>>> output_dict = model(input_ids, return_dict=True)
>>> spectrogram = output_dict["spectrogram"]

>>> vocoder = FastSpeech2ConformerHifiGan.from_pretrained("espnet/fastspeech2_conformer_hifigan")
>>> waveform = vocoder(spectrogram)
>>> print(waveform.shape)
torch.Size([1, 49664])
```

## FastSpeech2ConformerHifiGan[[transformers.FastSpeech2ConformerHifiGan]]

#### transformers.FastSpeech2ConformerHifiGan[[transformers.FastSpeech2ConformerHifiGan]]

```python
transformers.FastSpeech2ConformerHifiGan(config: FastSpeech2ConformerHifiGanConfig)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/fastspeech2_conformer/modeling_fastspeech2_conformer.py#L1360)

**المعاملات:**

config ([FastSpeech2ConformerHifiGanConfig](/docs/transformers/v5.23.0/ar/model_doc/fastspeech2_conformer#transformers.FastSpeech2ConformerHifiGanConfig)) : فئة إعدادات النموذج التي تحتوي على جميع معاملات النموذج. عند التهيئة باستخدام ملف إعدادات، لا يتم تحميل الأوزان المرتبطة بالنموذج، بل الإعدادات فقط. راجع طريقة [from_pretrained()](/docs/transformers/v5.23.0/ar/main_classes/model#transformers.PreTrainedModel.from_pretrained) لتحميل أوزان النموذج.

مُصوِّت HiFi-GAN.

يرث هذا النموذج من [PreTrainedModel](/docs/transformers/v5.23.0/ar/main_classes/model#transformers.PreTrainedModel). راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع نماذجها (مثل التنزيل أو الحفظ، وتغيير حجم تضمينات الإدخال، وقص الرؤوس، وما إلى ذلك).

هذا النموذج هو أيضاً فئة فرعية من [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) في PyTorch. استخدمه كوحدة PyTorch عادية، وارجع إلى توثيق PyTorch لكل ما يتعلق بالاستخدام العام والسلوك.

#### forward[[transformers.FastSpeech2ConformerHifiGan.forward]]

```python
forward(spectrogram: Tensor, **kwargs)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/fastspeech2_conformer/modeling_fastspeech2_conformer.py#L1428)

**المعاملات:**

spectrogram (`torch.Tensor`) : متجه يحتوي على مطيافات اللوغ-ميل. يمكن أن يكون مُجمَّعًا (batched) وبشكل `(batch_size, sequence_length, config.model_in_dim)`، أو غير مُجمَّع وبشكل `(sequence_length, config.model_in_dim)`.

**يعيد:** `torch.Tensor`

مصفوفة تحتوي على موجة الصوت. إذا كان الطيف الصوتي المدخل مُجمَّعًا (batched)، فستكون على شكل `(batch_size, num_frames,)`. وإذا لم يكن مُجمَّعًا، فستكون على شكل `(num_frames,)`.

يحوّل طيف لوج-ميل (log-mel spectrogram) إلى موجة صوتية. عند تمرير دفعة من طيفات لوج-ميل، تُعاد دفعة من الموجات الصوتية. عند تمرير طيف لوج-ميل واحد غير مُجمَّع، تُعاد موجة صوتية واحدة غير مُجمَّعة.

## FastSpeech2ConformerWithHifiGan[[transformers.FastSpeech2ConformerWithHifiGan]]

#### transformers.FastSpeech2ConformerWithHifiGan[[transformers.FastSpeech2ConformerWithHifiGan]]

```python
transformers.FastSpeech2ConformerWithHifiGan(config: FastSpeech2ConformerWithHifiGanConfig)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/fastspeech2_conformer/modeling_fastspeech2_conformer.py#L1483)

**المعاملات:**

config ([FastSpeech2ConformerWithHifiGanConfig](/docs/transformers/v5.23.0/ar/model_doc/fastspeech2_conformer#transformers.FastSpeech2ConformerWithHifiGanConfig)) : فئة إعدادات النموذج التي تحتوي على جميع معاملات النموذج. عند التهيئة باستخدام ملف إعدادات، لا يتم تحميل الأوزان المرتبطة بالنموذج، بل الإعدادات فقط. راجع طريقة [from_pretrained()](/docs/transformers/v5.23.0/ar/main_classes/model#transformers.PreTrainedModel.from_pretrained) لتحميل أوزان النموذج.

نموذج FastSpeech2ConformerModel مع رأس مُصنِّع صوتي FastSpeech2ConformerHifiGan يقوم بتحويل النص إلى كلام (موجة صوتية).

يرث هذا النموذج من [PreTrainedModel](/docs/transformers/v5.23.0/ar/main_classes/model#transformers.PreTrainedModel). راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع نماذجها (مثل التنزيل أو الحفظ، وتغيير حجم تضمينات الإدخال، وقص الرؤوس، وما إلى ذلك).

هذا النموذج هو أيضاً فئة فرعية من [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) في PyTorch. استخدمه كوحدة PyTorch عادية، وارجع إلى توثيق PyTorch لكل ما يتعلق بالاستخدام العام والسلوك.

#### forward[[transformers.FastSpeech2ConformerWithHifiGan.forward]]

```python
forward(input_ids: LongTensor, attention_mask: typing.Optional[torch.LongTensor] = None, spectrogram_labels: typing.Optional[torch.Tensor] = None, duration_labels: typing.Optional[torch.LongTensor] = None, pitch_labels: typing.Optional[torch.Tensor] = None, energy_labels: typing.Optional[torch.Tensor] = None, speaker_ids: typing.Optional[torch.LongTensor] = None, lang_ids: typing.Optional[torch.LongTensor] = None, speaker_embedding: typing.Optional[torch.Tensor] = None, return_dict: bool | None = None, output_attentions: bool | None = None, output_hidden_states: bool | None = None, **kwargs)
```

[المصدر](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/fastspeech2_conformer/modeling_fastspeech2_conformer.py#L1496)

**المعاملات:**

input_ids (`torch.LongTensor` من الشكل `(batch_size, sequence_length)`) : تسلسل مدخل من متجهات النص.

attention_mask (`torch.LongTensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : قناع لتجنّب تنفيذ الانتباه على فهارس رموز الحشو. قيم القناع المختارة من `[0, 1]`: - 1 للرموز **غير المقنّعة**، - 0 للرموز **المقنّعة**. [ما هي أقنعة الانتباه؟](../glossary#attention-mask)

spectrogram_labels (`torch.Tensor` من الشكل `(batch_size, max_spectrogram_length, num_mel_bins)`، *اختياري*، القيمة الافتراضية `None`) : دفعة من الميزات المستهدفة المُكمّلة.

duration_labels (`torch.LongTensor` من الشكل `(batch_size, sequence_length + 1)`، *اختياري*، القيمة الافتراضية `None`) : دفعة من المدد المُكمّلة.

pitch_labels (`torch.Tensor` من الشكل `(batch_size, sequence_length + 1, 1)`، *اختياري*، القيمة الافتراضية `None`) : دفعة من نغمات الرموز المتوسطة معبأة.

energy_labels (`torch.Tensor` من الشكل `(batch_size, sequence_length + 1, 1)`، *اختياري*، القيمة الافتراضية `None`) : دفعة من الطاقة المتوسطة على مستوى الرموز مع الحشو.

speaker_ids (`torch.LongTensor` من الشكل `(batch_size, 1)`، *اختياري*، القيمة الافتراضية `None`) : معرّفات المتحدّثين المستخدمة لتكييف ميزات مخرجات الكلام من النموذج.

lang_ids (`torch.LongTensor` من الشكل `(batch_size, 1)`، *اختياري*، القيمة الافتراضية `None`) : معرّفات اللغة المستخدمة لتكييف ميزات مخرجات الكلام بواسطة النموذج.

speaker_embedding (`torch.Tensor` من الشكل `(batch_size, embedding_dim)`، *اختياري*، القيمة الافتراضية `None`) : تضمين يحتوي على إشارات التكييف لميزات الكلام.

return_dict (`bool`، *اختياري*) : ما إذا كان سيتم إرجاع [ModelOutput](/docs/transformers/v5.23.0/ar/main_classes/output#transformers.utils.ModelOutput) بدلاً من tuple عادي.

output_attentions (`bool`، *اختياري*) : ما إذا كان سيتم إرجاع مصفوفات الانتباه لجميع طبقات الانتباه. راجع `attentions` ضمن المصفوفات المُرجعة لمزيد من التفاصيل.

output_hidden_states (`bool`, *اختياري*) : ما إذا كان سيتم إرجاع الحالات المخفية لجميع الطبقات. راجع `hidden_states` ضمن الموترات المُرجعة لمزيد من التفاصيل.

**يعيد:** `FastSpeech2ConformerModelOutput` أو `tuple(torch.Tensor)`

`FastSpeech2ConformerModelOutput` أو مجموعة مرتبة من `torch.Tensor` (إذا تم تمرير `return_dict=False` أو عندما يكون `config.return_dict=False`) وتتضمن عناصر مختلفة اعتماداً على الإعداد ([FastSpeech2ConformerConfig](/docs/transformers/v5.23.0/ar/model_doc/fastspeech2_conformer#transformers.FastSpeech2ConformerConfig)) والمدخلات.

تتجاوز طريقة [FastSpeech2ConformerWithHifiGan](/docs/transformers/v5.23.0/ar/model_doc/fastspeech2_conformer#transformers.FastSpeech2ConformerWithHifiGan) الخاصة بالتقديم (forward) الطريقة الخاصة `__call__`.

على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن `Module` بدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت.

- **loss** (`torch.Tensor` من الشكل `(1,)`، *اختياري*، يُعاد عند توفير `labels`) -- خسارة توليد الطيف الصوتي.
- **مطياف الصوت** (`torch.Tensor` من الشكل `(batch_size, sequence_length, num_bins)`, *اختياري*) -- مطياف الصوت المتوقع.
- **encoder_last_hidden_state** (`torch.Tensor` بشكل `(batch_size, sequence_length, hidden_size)`، *اختياري*) -- سلسلة من حالات الإخفاء عند مخرجات الطبقة الأخيرة من المُشفِّر في النموذج.
- **encoder_hidden_states** (`tuple[torch.Tensor]`, *اختياري*, يُعاد عند تمرير `output_hidden_states=True` أو عند `config.output_hidden_states=True`) -- مجموعة مرتبة من `torch.Tensor` (واحدة لمخرجات التضمينات، إذا كان النموذج يحتوي على طبقة تضمين، + واحدة لمخرجات كل طبقة) من الشكل `(batch_size, sequence_length, hidden_size)`.

  حالات المخفية للمشفّر عند مخرج كل طبقة بالإضافة إلى مخرجات التضمين الأولي.
- **encoder_attentions** (`tuple[torch.Tensor]`, *اختياري*, يُعاد عند تمرير `output_attentions=True` أو عند `config.output_attentions=True`) -- مجموعة مرتبة من `torch.Tensor` (واحدة لكل طبقة) بأبعاد `(batch_size, num_heads, sequence_length, sequence_length)`.

  أوزان الانتباه للمُشفِّر، بعد softmax للانتباه، المُستخدَمة لحساب المتوسط الموزون في رؤوس الانتباه الذاتي.
- **decoder_hidden_states** (`tuple[torch.Tensor]`, *اختياري*, يُعاد عند تمرير `output_hidden_states=True` أو عند `config.output_hidden_states=True`) -- مجموعة مرتبة من `torch.Tensor` (واحدة لمخرجات التضمينات، إذا كان النموذج يحتوي على طبقة تضمين، + واحدة لمخرجات كل طبقة) من الشكل `(batch_size, sequence_length, hidden_size)`.

  حالات المخفية (Hidden states) لمفكّك الترميز (decoder) عند مخرج كل طبقة بالإضافة إلى مخرجات التضمين الأولي (initial embedding).
- **decoder_attentions** (`tuple[torch.Tensor]`, *اختياري*, يُعاد عند تمرير `output_attentions=True` أو عند `config.output_attentions=True`) -- مجموعة مرتبة من `torch.Tensor` (واحدة لكل طبقة) بأبعاد `(batch_size, num_heads, sequence_length, sequence_length)`.

  أوزان الانتباه في المفكّك، بعد softmax الانتباه، المستخدمة لحساب المتوسط المرجّح في رؤوس الانتباه الذاتي.
- **duration_outputs** (`torch.LongTensor` من الشكل `(batch_size, max_text_length + 1)`، *اختياري*) -- مخرجات متنبئ المدة.
- **pitch_outputs** (`torch.Tensor` من الشكل `(batch_size, max_text_length + 1, 1)`، *اختياري*) -- مخرجات متنبئ النغمة.
- **energy_outputs** (`torch.Tensor` من الشكل `(batch_size, max_text_length + 1, 1)`، *اختياري*) -- مخرجات متنبئ الطاقة.

مثال:

```python
>>> from transformers import (
...     FastSpeech2ConformerTokenizer,
...     FastSpeech2ConformerWithHifiGan,
... )

>>> tokenizer = FastSpeech2ConformerTokenizer.from_pretrained("espnet/fastspeech2_conformer")
>>> inputs = tokenizer("some text to convert to speech", return_tensors="pt")
>>> input_ids = inputs["input_ids"]

>>> model = FastSpeech2ConformerWithHifiGan.from_pretrained("espnet/fastspeech2_conformer_with_hifigan")
>>> output_dict = model(input_ids, return_dict=True)
>>> waveform = output_dict["waveform"]
>>> print(waveform.shape)
torch.Size([1, 49664])
```

