# SpeechT5

## Ikhtisar

Model SpeechT5 diusulkan dalam [SpeechT5: Unified-Modal Encoder-Decoder Pre-Training for Spoken Language Processing](https://huggingface.co/papers/2110.07205) oleh Junyi Ao, Rui Wang, Long Zhou, Chengyi Wang, Shuo Ren, Yu Wu, Shujie Liu, Tom Ko, Qing Li, Yu Zhang, Zhihua Wei, Yao Qian, Jinyu Li, Furu Wei.

Abstrak dari makalah tersebut adalah sebagai berikut:

*Dengan motivasi dari keberhasilan T5 (Text-To-Text Transfer Transformer) pada model pemrosesan bahasa alami yang telah dilatih sebelumnya, kami mengusulkan kerangka kerja SpeechT5 yang terintegrasi lintas modal, yang mengeksplorasi pre-training encoder-decoder untuk pembelajaran representasi ucapan/teks yang self-supervised. Kerangka kerja SpeechT5 terdiri dari jaringan encoder-decoder bersama dan enam pre/post-nets yang spesifik untuk masing-masing modal (ucapan/teks). Setelah prapemrosesan input ucapan/teks melalui pre-nets, jaringan encoder-decoder bersama memodelkan transformasi sequence-to-sequence, kemudian post-nets menghasilkan output dalam modal ucapan/teks berdasarkan output dari decoder. Dengan memanfaatkan data ucapan dan teks berskala besar yang tidak berlabel, kami melakukan pre-training SpeechT5 untuk mempelajari representasi lintas modal yang terintegrasi, dengan harapan meningkatkan kemampuan pemodelan untuk baik ucapan maupun teks. Untuk menyelaraskan informasi teks dan ucapan ke dalam ruang semantik terintegrasi ini, kami mengusulkan pendekatan kuantisasi vektor lintas modal yang secara acak mencampur keadaan ucapan/teks dengan unit laten sebagai antarmuka antara encoder dan decoder. Evaluasi yang luas menunjukkan keunggulan kerangka kerja SpeechT5 yang diusulkan pada berbagai tugas pemrosesan bahasa lisan, termasuk pengenalan ucapan otomatis, sintesis ucapan, penerjemahan ucapan, konversi suara, peningkatan kualitas ucapan, dan identifikasi pembicara.*

Model ini disumbangkan oleh [Matthijs](https://huggingface.co/Matthijs). Kode aslinya dapat ditemukan [di sini](https://github.com/microsoft/SpeechT5).

> [!TIP]
> Setel `use_kernels=True` di [from_pretrained()](/docs/transformers/v5.23.0/id/main_classes/model#transformers.PreTrainedModel.from_pretrained) untuk mengganti lapisan yang didukung dengan kernel yang dioptimalkan dari Hub. Lihat [Memuat kernel](../kernel_doc/loading_kernels) untuk mempelajari lebih lanjut.

## SpeechT5Config[[transformers.SpeechT5Config]]

#### transformers.SpeechT5Config[[transformers.SpeechT5Config]]

```python
transformers.SpeechT5Config(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, is_encoder_decoder: bool = True, vocab_size: int = 81, hidden_size: int = 768, encoder_layers: int = 12, encoder_attention_heads: int = 12, encoder_ffn_dim: int = 3072, encoder_layerdrop: float | int = 0.1, decoder_layers: int = 6, decoder_ffn_dim: int = 3072, decoder_attention_heads: int = 12, decoder_layerdrop: float | int = 0.1, hidden_act: str = 'gelu', positional_dropout: float | int = 0.1, hidden_dropout: float | int = 0.1, attention_dropout: float | int = 0.1, activation_dropout: float | int = 0.1, initializer_range: float = 0.02, layer_norm_eps: float = 1e-05, scale_embedding: bool = False, feat_extract_norm: str = 'group', feat_proj_dropout: float | int = 0.0, feat_extract_activation: str = 'gelu', conv_dim: list[int] | tuple[int, ...] = (512, 512, 512, 512, 512, 512, 512), conv_stride: list[int] | tuple[int, ...] = (5, 2, 2, 2, 2, 2, 2), conv_kernel: list[int] | tuple[int, ...] = (10, 3, 3, 3, 3, 2, 2), conv_bias: bool = False, num_conv_pos_embeddings: int = 128, num_conv_pos_embedding_groups: int = 16, apply_spec_augment: bool = True, mask_time_prob: float | int = 0.05, mask_time_length: int = 10, mask_time_min_masks: int = 2, mask_feature_prob: float | int = 0.0, mask_feature_length: int = 10, mask_feature_min_masks: int = 0, pad_token_id: int | None = 1, bos_token_id: int | None = 0, eos_token_id: int | list[int] | None = 2, decoder_start_token_id: int | None = 2, num_mel_bins: int = 80, speech_decoder_prenet_layers: int = 2, speech_decoder_prenet_units: int = 256, speech_decoder_prenet_dropout: float | int = 0.5, speaker_embedding_dim: int = 512, speech_decoder_postnet_layers: int = 5, speech_decoder_postnet_units: int = 256, speech_decoder_postnet_kernel: int = 5, speech_decoder_postnet_dropout: float | int = 0.5, reduction_factor: int = 2, max_speech_positions: int = 4000, max_text_positions: int = 450, encoder_max_relative_position: int = 160, use_guided_attention_loss: bool = True, guided_attention_loss_num_heads: int = 2, guided_attention_loss_sigma: float = 0.4, guided_attention_loss_scale: float = 10.0, use_cache: bool = True, tie_word_embeddings: bool = True)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/configuration_speecht5.py#L27)

**Parameter:**

is_encoder_decoder (`bool`, *opsional*, defaultnya `True`) : Apakah model digunakan sebagai encoder/decoder atau tidak.

vocab_size (`int`, *opsional*, defaultnya `81`) : Ukuran kosakata model. Menentukan jumlah token berbeda yang dapat direpresentasikan oleh `input_ids`.

hidden_size (`int`, *opsional*, defaultnya `768`) : Dimensi dari representasi tersembunyi.

encoder_layers (`int`, *opsional*, defaultnya `12`) : Jumlah lapisan tersembunyi dalam encoder Transformer. Akan menggunakan nilai yang sama dengan `num_layers` jika tidak diatur.

encoder_attention_heads (`int`, *opsional*, defaultnya `12`) : Jumlah kepala perhatian untuk setiap lapisan perhatian dalam encoder Transformer.

encoder_ffn_dim (`int`, *opsional*, defaultnya `3072`) : Dimensi dari lapisan "intermediate" (sering disebut feed-forward) dalam encoder.

encoder_layerdrop (`Union[float, int]`, *opsional*, defaultnya `0.1`) : Probabilitas LayerDrop untuk encoder. Lihat [makalah LayerDrop](see https://huggingface.co/papers/1909.11556) untuk detail lebih lanjut.

decoder_layers (`int`, *opsional*, defaultnya `6`) : Jumlah lapisan tersembunyi dalam decoder Transformer. Akan menggunakan nilai yang sama dengan `num_layers` jika tidak diatur.

decoder_ffn_dim (`int`, *opsional*, defaultnya `3072`) : Dimensi dari lapisan "intermediate" (sering disebut feed-forward) dalam decoder.

decoder_attention_heads (`int`, *opsional*, defaultnya `12`) : Jumlah kepala perhatian untuk setiap lapisan perhatian dalam decoder Transformer.

decoder_layerdrop (`Union[float, int]`, *opsional*, defaultnya `0.1`) : Probabilitas LayerDrop untuk decoder. Lihat [makalah LayerDrop](see https://huggingface.co/papers/1909.11556) untuk detail lebih lanjut.

hidden_act (`str`, *opsional*, defaultnya `gelu`) : Fungsi aktivasi non-linear (fungsi atau string) di decoder. Misalnya, `"gelu"`, `"relu"`, `"silu"`, dan sebagainya.

positional_dropout (`float`, *opsional*, default 0.1) : Probabilitas dropout untuk lapisan encoding posisi teks.

hidden_dropout (`Union[float, int]`, *opsional*, defaultnya `0.1`) : Probabilitas dropout untuk semua lapisan fully connected di embeddings, encoder, dan pooler.

attention_dropout (`Union[float, int]`, *opsional*, defaultnya `0.1`) : Rasio dropout untuk probabilitas perhatian.

activation_dropout (`Union[float, int]`, *opsional*, defaultnya `0.1`) : Rasio dropout untuk aktivasi di dalam lapisan fully connected.

initializer_range (`float`, *opsional*, defaultnya `0.02`) : Deviasi standar dari truncated_normal_initializer untuk menginisialisasi semua matriks bobot.

layer_norm_eps (`float`, *opsional*, defaultnya `1e-05`) : Epsilon yang digunakan oleh lapisan normalisasi lapisan.

scale_embedding (`bool`, *opsional*, defaultnya `False`) : Apakah akan menskalakan embedding dengan membaginya oleh sqrt(d_model).

feat_extract_norm (`str`, *opsional*, defaultnya `"group"`) : Normalisasi yang diterapkan pada lapisan konvolusional 1D di pre-net encoder ucapan. Salah satu dari `"group"` untuk normalisasi grup hanya pada lapisan konvolusional 1D pertama atau `"layer"` untuk normalisasi lapisan pada semua lapisan konvolusional 1D.

feat_proj_dropout (`float`, *opsional*, default 0.0) : Probabilitas dropout untuk output pre-net dari encoder ucapan.

feat_extract_activation (`str, `optional`, defaults to `"gelu"`) : The non-linear activation function (function or string) in the 1D convolutional layers of the feature extractor. If string, `"gelu"`, `"relu"`, `"selu"` and `"gelu_new"` are supported.

conv_dim (`tuple[int]` atau `list[int]`, *opsional*, defaultnya `(512, 512, 512, 512, 512, 512, 512)`) : Tuple dari bilangan bulat yang mendefinisikan jumlah saluran input dan output dari setiap lapisan konvolusional 1D dalam pre-net encoder ucapan. Panjang dari *conv_dim* mendefinisikan jumlah lapisan konvolusional 1D.

conv_stride (`tuple[int]` atau `list[int]`, *opsional*, defaultnya `(5, 2, 2, 2, 2, 2, 2)`) : Tuple dari bilangan bulat yang mendefinisikan stride dari setiap lapisan konvolusional 1D di pre-net encoder ucapan. Panjang dari *conv_stride* mendefinisikan jumlah lapisan konvolusional dan harus sesuai dengan panjang dari *conv_dim*.

conv_kernel (`tuple[int]` atau `list[int]`, *opsional*, defaultnya `(10, 3, 3, 3, 3, 3, 3)`) : Tuple dari bilangan bulat yang mendefinisikan ukuran kernel dari setiap lapisan konvolusional 1D dalam pre-net encoder ucapan. Panjang dari *conv_kernel* mendefinisikan jumlah lapisan konvolusional dan harus sesuai dengan panjang dari *conv_dim*.

conv_bias (`bool`, *opsional*, defaultnya `False`) : Apakah lapisan konvolusional 1D memiliki bias.

num_conv_pos_embeddings (`int`, *opsional*, default 128) : Jumlah embedding posisi konvolusional. Menentukan ukuran kernel dari lapisan embedding posisi konvolusional 1D.

num_conv_pos_embedding_groups (`int`, *opsional*, default 16) : Jumlah grup dari lapisan embedding posisional konvolusional 1D.

apply_spec_augment (`bool`, *opsional*, defaultnya `True`) : Apakah akan menerapkan augmentasi data *SpecAugment* pada output dari pre-net encoder ucapan. Untuk referensi, lihat [SpecAugment: A Simple Data Augmentation Method for Automatic Speech Recognition](https://huggingface.co/papers/1904.08779).

mask_time_prob (`float`, *opsional*, default 0.05) : Persentase (antara 0 dan 1) dari semua vektor fitur sepanjang sumbu waktu yang akan dimasker. Prosedur masking menghasilkan ''mask_time_prob*len(time_axis)/mask_time_length'' mask independen di sepanjang sumbu tersebut. Jika beralasan dari probabilitas setiap vektor fitur untuk dipilih sebagai awal dari rentang vektor yang akan dimasker, *mask_time_prob* seharusnya `prob_vector_start*mask_time_length`. Perhatikan bahwa tumpang tindih dapat mengurangi persentase vektor yang sebenarnya dimasker. Ini hanya relevan jika `apply_spec_augment is True`.

mask_time_length (`int`, *opsional*, default 10) : Panjang rentang vektor sepanjang sumbu waktu.

mask_time_min_masks (`int`, *opsional*, default 2), : Jumlah minimum masker dengan panjang `mask_feature_length` yang dihasilkan sepanjang sumbu waktu, setiap langkah waktu, terlepas dari `mask_feature_prob`. Hanya relevan jika ''mask_time_prob*len(time_axis)/mask_time_length < mask_time_min_masks''

mask_feature_prob (`float`, *opsional*, default 0.0) : Persentase (antara 0 dan 1) dari semua vektor fitur di sepanjang sumbu fitur yang akan dimasker. Prosedur masking menghasilkan ''mask_feature_prob*len(feature_axis)/mask_time_length'' mask independen di sepanjang sumbu tersebut. Jika beralasan dari probabilitas setiap vektor fitur untuk dipilih sebagai awal dari rentang vektor yang akan dimasker, *mask_feature_prob* seharusnya `prob_vector_start*mask_feature_length`. Perhatikan bahwa tumpang tindih dapat mengurangi persentase vektor yang sebenarnya dimasker. Ini hanya relevan jika `apply_spec_augment is True`.

mask_feature_prob (`Union[float, int]`, *opsional*, defaultnya `0.0`) : Persentase (antara 0 dan 1) dari semua vektor fitur di sepanjang sumbu fitur yang akan dimasker. Prosedur masking menghasilkan `mask_feature_prob*len(feature_axis)/mask_time_length` mask independen di sepanjang sumbu. Jika beralasan dari probabilitas setiap vektor fitur untuk dipilih sebagai awal dari rentang vektor yang akan dimasker, *mask_feature_prob* seharusnya `prob_vector_start*mask_feature_length`. Perhatikan bahwa tumpang tindih dapat mengurangi persentase vektor yang sebenarnya dimasker. Ini hanya relevan jika `apply_spec_augment` adalah `True`.

mask_feature_length (`int`, *opsional*, default 10) : Panjang rentang vektor di sepanjang sumbu fitur.

mask_feature_min_masks (`int`, *opsional*, default 0), : Jumlah minimum masker dengan panjang `mask_feature_length` yang dihasilkan di sepanjang sumbu fitur, setiap langkah waktu, terlepas dari `mask_feature_prob`. Hanya relevan jika ''mask_feature_prob*len(feature_axis)/mask_feature_length < mask_feature_min_masks''

num_mel_bins (`int`, *opsional*, default 80) : Jumlah fitur mel yang digunakan per fitur input. Digunakan oleh pre-net decoder ucapan. Seharusnya sesuai dengan nilai yang digunakan di kelas [SpeechT5Processor](/docs/transformers/v5.23.0/id/model_doc/speecht5#transformers.SpeechT5Processor).

pad_token_id (`int`, *opsional*, defaultnya `1`) : ID token yang digunakan untuk padding dalam kosakata.

bos_token_id (`int`, *opsional*, defaultnya `0`) : Token id yang digunakan untuk awal-stream dalam kosakata.

eos_token_id (`Union[int, list[int]]`, *opsional*, defaultnya `2`) : Token id yang digunakan untuk end-of-stream dalam kosakata.

decoder_start_token_id (`int`, *opsional*, defaultnya `2`) : Jika model encoder-decoder memulai decoding dengan token yang berbeda dari `bos`, id dari token tersebut.

num_mel_bins (`int`, *opsional*, defaultnya `80`) : Jumlah fitur mel yang digunakan per bingkai input. Seharusnya sesuai dengan nilai yang digunakan di kelas `AutoFeatureExtractor`.

speech_decoder_prenet_layers (`int`, *opsional*, defaultnya 2) : Jumlah lapisan dalam pre-net decoder ucapan.

speech_decoder_prenet_units (`int`, *opsional*, defaultnya 256) : Dimensi dari lapisan dalam pre-net decoder ucapan.

speech_decoder_prenet_dropout (`float`, *opsional*, default 0.5) : Probabilitas dropout untuk lapisan pre-net decoder ucapan.

speaker_embedding_dim (`int`, *opsional*, default 512) : Dimensi dari vektor embedding *XVector*.

speech_decoder_postnet_layers (`int`, *opsional*, defaultnya 5) : Jumlah lapisan di post-net decoder ucapan.

speech_decoder_postnet_units (`int`, *opsional*, defaultnya 256) : Dimensi dari lapisan pada post-net decoder ucapan.

speech_decoder_postnet_kernel (`int`, *opsional*, defaultnya 5) : Jumlah kanal filter konvolusional dalam post-net decoder ucapan.

speech_decoder_postnet_dropout (`float`, *opsional*, default 0.5) : Probabilitas dropout untuk lapisan post-net dari decoder ucapan.

reduction_factor (`int`, *opsional*, default 2) : Faktor pengurangan panjang spektrogram untuk input dekodeur ucapan.

max_speech_positions (`int`, *opsional*, default 4000) : Panjang maksimum urutan fitur ucapan yang mungkin digunakan dengan model ini.

max_text_positions (`int`, *opsional*, default 450) : Panjang maksimum sekuens fitur teks yang mungkin digunakan dengan model ini.

encoder_max_relative_position (`int`, *opsional*, default 160) : Jarak maksimum untuk penanam posisi relatif di encoder.

use_guided_attention_loss (`bool`, *opsional*, defaultnya `True`) : Apakah akan menerapkan guided attention loss saat melatih model TTS.

guided_attention_loss_num_heads (`int`, *opsional*, defaultnya 2) : Jumlah kepala perhatian yang akan diterapkan kerugian perhatian terpandu. Gunakan -1 untuk menerapkan kerugian ini ke semua kepala perhatian.

guided_attention_loss_sigma (`float`, *opsional*, default 0.4) : Standar deviasi untuk guided attention loss.

guided_attention_loss_scale (`float`, *opsional*, default 10.0) : Koefisien penskalaan untuk guided attention loss (juga dikenal sebagai lambda).

use_cache (`bool`, *opsional*, defaultnya `True`) : Apakah model harus mengembalikan perhatian kunci/nilai terakhir (tidak digunakan oleh semua model). Hanya relevan jika `config.is_decoder=True` atau ketika model adalah model generatif yang hanya decoder.

tie_word_embeddings (`bool`, *opsional*, defaultnya `True`) : Apakah mengikat embedding bobot sesuai dengan pemetaan `tied_weights_keys` model.

Ini adalah kelas konfigurasi untuk menyimpan konfigurasi dari SpeechT5Model. Kelas ini digunakan untuk membuat instans model Speecht5 berdasarkan argumen yang ditentukan, sehingga mendefinisikan arsitektur model. Membuat instans konfigurasi dengan nilai bawaan akan menghasilkan konfigurasi yang serupa dengan konfigurasi dari [microsoft/speecht5_asr](https://huggingface.co/microsoft/speecht5_asr)

Objek konfigurasi mewarisi dari [PreTrainedConfig](/docs/transformers/v5.23.0/id/main_classes/configuration#transformers.PreTrainedConfig) dan dapat digunakan untuk mengontrol keluaran model. Baca dokumentasi dari [PreTrainedConfig](/docs/transformers/v5.23.0/id/main_classes/configuration#transformers.PreTrainedConfig) untuk informasi lebih lanjut.

Contoh:

```python
>>> from transformers import SpeechT5Model, SpeechT5Config

>>> # Initializing a "microsoft/speecht5_asr" style configuration
>>> configuration = SpeechT5Config()

>>> # Initializing a model (with random weights) from the "microsoft/speecht5_asr" style configuration
>>> model = SpeechT5Model(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config
```

## SpeechT5HifiGanConfig[[transformers.SpeechT5HifiGanConfig]]

#### transformers.SpeechT5HifiGanConfig[[transformers.SpeechT5HifiGanConfig]]

```python
transformers.SpeechT5HifiGanConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, model_in_dim: int = 80, sampling_rate: int = 16000, upsample_initial_channel: int = 512, upsample_rates: list[int] | tuple[int, ...] = (4, 4, 4, 4), upsample_kernel_sizes: list[int] | tuple[int, ...] = (8, 8, 8, 8), resblock_kernel_sizes: list[int] | tuple[int, ...] = (3, 7, 11), resblock_dilation_sizes: list | tuple = ((1, 3, 5), (1, 3, 5), (1, 3, 5)), initializer_range: float = 0.01, leaky_relu_slope: float = 0.1, normalize_before: bool = True)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/configuration_speecht5.py#L225)

**Parameter:**

model_in_dim (`int`, *opsional*, defaultnya 80) : Jumlah bin frekuensi dalam spektrogram log-mel input.

sampling_rate (`int`, *opsional*, defaultnya `16000`) : Laju sampling di mana file audio harus didigitalisasi, dinyatakan dalam hertz (Hz).

upsample_initial_channel (`int`, *opsional*, defaultnya 512) : Jumlah saluran input ke jaringan upsampling.

upsample_rates (`tuple[int]` atau `list[int]`, *opsional*, defaultnya `[4, 4, 4, 4]`) : Tuple bilangan bulat yang mendefinisikan stride dari setiap lapisan konvolusional 1D dalam jaringan upsampling. Panjang dari *upsample_rates* mendefinisikan jumlah lapisan konvolusional dan harus sesuai dengan panjang dari *upsample_kernel_sizes*.

upsample_kernel_sizes (`tuple[int]` atau `list[int]`, *opsional*, defaultnya `[8, 8, 8, 8]`) : Tuple dari bilangan bulat yang mendefinisikan ukuran kernel dari setiap lapisan konvolusional 1D dalam jaringan upsampling. Panjang dari *upsample_kernel_sizes* mendefinisikan jumlah lapisan konvolusional dan harus sesuai dengan panjang dari *upsample_rates*.

resblock_kernel_sizes (`tuple[int]` atau `list[int]`, *opsional*, defaultnya `[3, 7, 11]`) : Tuple bilangan bulat yang mendefinisikan ukuran kernel dari lapisan konvolusional 1D dalam modul multi-receptive field fusion (MRF).

resblock_dilation_sizes (`tuple[tuple[int]]` atau `list[list[int]]`, *opsional*, defaultnya `[[1, 3, 5], [1, 3, 5], [1, 3, 5]]`) : Tuple bersarang dari bilangan bulat yang mendefinisikan laju dilatasi dari lapisan konvolusi 1D yang didilatasi dalam modul fusi multi-receptive field (MRF).

initializer_range (`float`, *opsional*, defaultnya `0.01`) : Deviasi standar dari truncated_normal_initializer untuk menginisialisasi semua matriks bobot.

leaky_relu_slope (`float`, *opsional*, default 0.1) : Sudut kemiringan negatif yang digunakan oleh aktivasi leaky ReLU.

normalize_before (`bool`, *opsional*, defaultnya `True`) : Apakah akan menormalisasi spektrogram sebelum vokoding menggunakan rata-rata dan varians yang dipelajari oleh vokoder.

Ini adalah kelas konfigurasi untuk menyimpan konfigurasi dari SpeechT5Model. Kelas ini digunakan untuk membuat instans model Speecht5 berdasarkan argumen yang ditentukan, sehingga mendefinisikan arsitektur model. Membuat instans konfigurasi dengan nilai bawaan akan menghasilkan konfigurasi yang serupa dengan konfigurasi dari [microsoft/speecht5_asr](https://huggingface.co/microsoft/speecht5_asr)

Objek konfigurasi mewarisi dari [PreTrainedConfig](/docs/transformers/v5.23.0/id/main_classes/configuration#transformers.PreTrainedConfig) dan dapat digunakan untuk mengontrol keluaran model. Baca dokumentasi dari [PreTrainedConfig](/docs/transformers/v5.23.0/id/main_classes/configuration#transformers.PreTrainedConfig) untuk informasi lebih lanjut.

Contoh:

```python
>>> from transformers import SpeechT5HifiGan, SpeechT5HifiGanConfig

>>> # Initializing a "microsoft/speecht5_hifigan" style configuration
>>> configuration = SpeechT5HifiGanConfig()

>>> # Initializing a model (with random weights) from the "microsoft/speecht5_hifigan" style configuration
>>> model = SpeechT5HifiGan(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config
```

## SpeechT5Tokenizer[[transformers.SpeechT5Tokenizer]]

#### transformers.SpeechT5Tokenizer[[transformers.SpeechT5Tokenizer]]

```python
transformers.SpeechT5Tokenizer(vocab_file, bos_token = '<s>', eos_token = '</s>', unk_token = '<unk>', pad_token = '<pad>', normalize = False, sp_model_kwargs: dict[str, typing.Any] | None = None, **kwargs)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/tokenization_speecht5.py#L30)

**Parameter:**

vocab_file (`str`) : file [SentencePiece](https://github.com/google/sentencepiece) (umumnya berekstensi *.spm*) yang berisi kosakata yang diperlukan untuk menginstansiasi tokenizer.

bos_token (`str`, *opsional*, defaultnya `"<s>"`) : Token awal urutan.

eos_token (`str`, *opsional*, defaultnya `"</s>"`) : Token akhir urutan.

unk_token (`str`, *opsional*, defaultnya `"<unk>"`) : Token yang tidak diketahui. Token yang tidak ada dalam kosakata tidak dapat dikonversi menjadi ID dan akan diset sebagai token ini.

pad_token (`str`, *opsional*, defaultnya `"<pad>"`) : Token yang digunakan untuk padding, misalnya saat membatching urutan dengan panjang yang berbeda.

normalize (`bool`, *opsional*, defaultnya `False`) : Apakah akan mengonversi kuantitas numerik dalam teks ke padanan kata dalam bahasa Inggris.

sp_model_kwargs (`dict`, *opsional*) : Akan diteruskan ke metode `SentencePieceProcessor.__init__()`. [Python wrapper for SentencePiece](https://github.com/google/sentencepiece/tree/master/python) dapat digunakan, antara lain, untuk mengatur:  - `enable_sampling`: Mengaktifkan regularisasi subword. - `nbest_size`: Parameter sampling untuk unigram. Tidak valid untuk BPE-Dropout.  - `nbest_size = {0,1}`: Tidak ada sampling yang dilakukan. - `nbest_size > 1`: mengambil sampel dari hasil nbest_size. - `nbest_size < 0`: mengasumsikan bahwa nbest_size tak hingga dan mengambil sampel dari semua hipotesis (lattice) menggunakan algoritma forward-filtering-and-backward-sampling.  - `alpha`: Parameter penghalusan untuk sampling unigram, dan probabilitas dropout dari operasi merge untuk BPE-dropout.

sp_model (`SentencePieceProcessor`) : Pemroses *SentencePiece* yang digunakan untuk setiap konversi (string, token, dan ID).

Konstruksi tokenizer SpeechT5. Berbasis pada [SentencePiece](https://github.com/google/sentencepiece).

Tokenizer ini mewarisi dari [PreTrainedTokenizer](/docs/transformers/v5.23.0/id/main_classes/tokenizer#transformers.PythonBackend) yang berisi sebagian besar metode utama. Pengguna harus merujuk ke superclass ini untuk informasi lebih lanjut mengenai metode-metode tersebut.

#### __call__[[transformers.SpeechT5Tokenizer.__call__]]

```python
__call__(text: TextInput | PreTokenizedInput | list[TextInput] | list[PreTokenizedInput] | None = None, text_pair: TextInput | PreTokenizedInput | list[TextInput] | list[PreTokenizedInput] | None = None, text_target: TextInput | PreTokenizedInput | list[TextInput] | list[PreTokenizedInput] | None = None, text_pair_target: TextInput | PreTokenizedInput | list[TextInput] | list[PreTokenizedInput] | None = None, add_special_tokens: bool = True, padding: bool | str | PaddingStrategy = False, truncation: bool | str | TruncationStrategy | None = None, max_length: int | None = None, stride: int = 0, is_split_into_words: bool = False, pad_to_multiple_of: int | None = None, padding_side: str | None = None, return_tensors: str | TensorType | None = None, return_token_type_ids: bool | None = None, return_attention_mask: bool | None = None, return_overflowing_tokens: bool = False, return_special_tokens_mask: bool = False, return_offsets_mapping: bool = False, return_length: bool = False, verbose: bool = True, tokenizer_kwargs: dict[str, Any] | None = None, **kwargs)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_base.py#L2448)

**Parameter:**

text (`str`, `list[str]`, `list[list[str]]`, *opsional*) : Urutan atau batch dari urutan yang akan dienkod. Setiap urutan dapat berupa string atau daftar string (string yang sudah dipretokenisasi). Jika urutan diberikan sebagai daftar string (pretokenized), Anda harus mengatur `is_split_into_words=True` (untuk menghilangkan ambiguitas dengan batch dari urutan).

text_pair (`str`, `list[str]`, `list[list[str]]`, *opsional*) : Urutan atau batch dari urutan yang akan dienkod. Setiap urutan dapat berupa string atau daftar string (string yang sudah dipretokenisasi). Jika urutan diberikan sebagai daftar string (pretokenized), Anda harus mengatur `is_split_into_words=True` (untuk menghilangkan ambiguitas dengan batch dari urutan).

text_target (`str`, `list[str]`, `list[list[str]]`, *opsional*) : Urutan atau batch dari urutan yang akan dikodekan sebagai teks target. Setiap urutan dapat berupa string atau daftar string (string yang sudah dipretokenisasi). Jika urutan diberikan sebagai daftar string (pretokenized), Anda harus mengatur `is_split_into_words=True` (untuk menghilangkan ambiguitas dengan batch dari urutan).

text_pair_target (`str`, `list[str]`, `list[list[str]]`, *opsional*) : Urutan atau batch dari urutan yang akan dikodekan sebagai teks target. Setiap urutan dapat berupa string atau daftar string (string yang sudah dipretokenisasi). Jika urutan diberikan sebagai daftar string (pretokenized), Anda harus mengatur `is_split_into_words=True` (untuk menghilangkan ambiguitas dengan batch dari urutan).

tokenizer_kwargs (`dict[str, Any]`, *opsional*) : kwargs tambahan untuk diteruskan ke tokenizer. Nilai-nilai ini akan digabungkan dengan parameter eksplisit dan kwargs lainnya, dengan parameter eksplisit memiliki prioritas lebih tinggi.

add_special_tokens (`bool`, *opsional*, default `True`) : Menentukan apakah token khusus akan ditambahkan saat meng-encode urutan. Hal ini akan menggunakan fungsi `PretrainedTokenizerBase.build_inputs_with_special_tokens` yang mendasarinya, yang mendefinisikan token apa saja yang secara otomatis ditambahkan ke input ids. Ini berguna jika Anda ingin menambahkan token `bos` atau `eos` secara otomatis.

padding (`bool`, `str` atau [PaddingStrategy](/docs/transformers/v5.23.0/id/internal/file_utils#transformers.utils.PaddingStrategy), *opsional*, default `False`) : Mengaktifkan dan mengontrol padding. Menerima nilai-nilai berikut:  - `True` atau `'longest'`: Pad hingga urutan terpanjang dalam batch (atau tanpa padding jika hanya satu urutan yang diberikan). - `'max_length'`: Pad hingga panjang maksimum yang ditentukan dengan argumen `max_length` atau hingga panjang input maksimum yang dapat diterima oleh model jika argumen tersebut tidak diberikan. - `False` atau `'do_not_pad'` (default): Tanpa padding (yaitu, dapat menghasilkan batch dengan urutan yang panjangnya berbeda-beda).

truncation (`bool`, `str` atau [TruncationStrategy](/docs/transformers/v5.23.0/id/internal/tokenization_utils#transformers.tokenization_utils_base.TruncationStrategy), *opsional*, default `False`) : Mengaktifkan dan mengontrol pemotongan. Menerima nilai-nilai berikut:  - `True` atau `'longest_first'`: Memotong hingga panjang maksimum yang ditentukan dengan argumen `max_length` atau hingga panjang input maksimum yang dapat diterima oleh model jika argumen tersebut tidak diberikan. Ini akan memotong per token, dengan menghapus satu token dari urutan terpanjang dalam pasangan jika sepasang urutan (atau batch pasangan) diberikan. - `'only_first'`: Memotong hingga panjang maksimum yang ditentukan dengan argumen `max_length` atau hingga panjang input maksimum yang dapat diterima oleh model jika argumen tersebut tidak diberikan. Ini hanya akan memotong urutan pertama dari pasangan jika sepasang urutan (atau batch pasangan) diberikan. - `'only_second'`: Memotong hingga panjang maksimum yang ditentukan dengan argumen `max_length` atau hingga panjang input maksimum yang dapat diterima oleh model jika argumen tersebut tidak diberikan. Ini hanya akan memotong urutan kedua dari pasangan jika sepasang urutan (atau batch pasangan) diberikan. - `False` atau `'do_not_truncate'` (default): Tidak ada pemotongan (yaitu, dapat menghasilkan batch dengan panjang urutan yang melebihi ukuran input maksimum yang diizinkan oleh model).

max_length (`int`, *opsional*) : Mengontrol panjang maksimum yang digunakan oleh salah satu parameter truncation/padding. Jika tidak disetel atau disetel ke `None`, ini akan menggunakan panjang maksimum model yang telah ditentukan sebelumnya jika panjang maksimum diperlukan oleh salah satu parameter truncation/padding. Jika model tidak memiliki panjang input maksimum yang spesifik (seperti XLNet), truncation/padding ke panjang maksimum akan dinonaktifkan.

stride (`int`, *opsional*, default 0) : Jika diatur ke sebuah angka bersamaan dengan `max_length`, token yang meluap yang dikembalikan saat `return_overflowing_tokens=True` akan memuat beberapa token dari akhir urutan terpotong yang dikembalikan untuk menyediakan beberapa tumpang tindih antara urutan terpotong dan urutan yang meluap. Nilai argumen ini menentukan jumlah token yang tumpang tindih.

is_split_into_words (`bool`, *opsional*, default `False`) : Apakah input sudah di-pre-tokenisasi (misalnya, dipecah menjadi kata-kata). Jika disetel ke `True`, tokenizer mengasumsikan input sudah dipecah menjadi kata-kata (misalnya, dengan memisahkannya berdasarkan spasi) yang kemudian akan ditokenisasi. Ini berguna untuk NER atau klasifikasi token.

pad_to_multiple_of (`int`, *opsional*) : Jika diatur, sekuens akan di-*pad* menjadi kelipatan dari nilai yang diberikan. Memerlukan `padding` untuk diaktifkan. Hal ini sangat berguna untuk memungkinkan penggunaan Tensor Cores pada perangkat keras NVIDIA dengan compute capability `>= 7.5` (Volta).

padding_side (`str`, *opsional*) : Sisi tempat model harus menerapkan padding. Harus dipilih dari ['right', 'left']. Nilai default diambil dari atribut kelas dengan nama yang sama.

return_tensors (`str` atau [TensorType](/docs/transformers/v5.23.0/id/internal/file_utils#transformers.TensorType), *opsional*) : Jika diatur, akan mengembalikan tensor alih-alih daftar bilangan bulat python. Nilai yang dapat diterima adalah:  - `'pt'`: Mengembalikan objek `torch.Tensor` PyTorch. - `'np'`: Mengembalikan objek `np.ndarray` Numpy.

return_token_type_ids (`bool`, *opsional*) : Apakah akan mengembalikan token type ID. Jika dibiarkan pada nilai default, akan mengembalikan token type ID sesuai default tokenizer tertentu, yang didefinisikan oleh atribut `return_outputs`.  [Apa itu token type ID?](../glossary#token-type-ids)

return_attention_mask (`bool`, *opsional*) : Apakah akan mengembalikan attention mask. Jika dibiarkan pada nilai default, attention mask akan dikembalikan sesuai dengan default tokenizer yang bersangkutan, yang didefinisikan oleh atribut `return_outputs`.  [Apa itu attention mask?](../glossary#attention-mask)

return_overflowing_tokens (`bool`, *opsional*, default `False`) : Apakah akan mengembalikan urutan token yang meluap. Jika sepasang urutan id input (atau batch dari pasangan) diberikan dengan `truncation_strategy = longest_first` atau `True`, error akan dilemparkan alih-alih mengembalikan token yang meluap.

return_special_tokens_mask (`bool`, *opsional*, default `False`) : Apakah akan mengembalikan informasi mask token khusus.

return_offsets_mapping (`bool`, *opsional*, default `False`) : Apakah akan mengembalikan `(char_start, char_end)` untuk setiap token. Ini hanya tersedia pada fast tokenizer yang mewarisi dari [PreTrainedTokenizerFast](/docs/transformers/v5.23.0/id/main_classes/tokenizer#transformers.TokenizersBackend); jika menggunakan tokenizer Python, metode ini akan melempar `NotImplementedError`.

return_length  (`bool`, *opsional*, default `False`) : Apakah akan mengembalikan panjang dari input yang dikodekan.

verbose (`bool`, *opsional*, default `True`) : Apakah akan mencetak informasi dan peringatan yang lebih banyak.

- ****kwargs** : diteruskan ke metode `self.tokenize()`

**Mengembalikan:** [BatchEncoding](/docs/transformers/v5.23.0/id/main_classes/tokenizer#transformers.BatchEncoding)

[BatchEncoding](/docs/transformers/v5.23.0/id/main_classes/tokenizer#transformers.BatchEncoding) dengan bidang berikut:

- **input_ids** -- Daftar id token yang akan diberikan ke model.

  [Apa itu input ID?](../glossary#input-ids)

- **token_type_ids** -- Daftar token type id yang akan diberikan ke model (ketika `return_token_type_ids=True` atau jika *"token_type_ids"* ada di `self.model_input_names`).

  [Apa itu token type ID?](../glossary#token-type-ids)

- **attention_mask** -- Daftar indeks yang menentukan token mana yang harus diperhatikan oleh model (ketika `return_attention_mask=True` atau jika *"attention_mask"* ada di `self.model_input_names`).

  [Apa itu attention mask?](../glossary#attention-mask)

- **overflowing_tokens** -- Daftar sekuens token yang meluap (ketika `max_length` ditentukan dan `return_overflowing_tokens=True`).
- **num_truncated_tokens** -- Jumlah token yang dipangkas (ketika `max_length` ditentukan dan `return_overflowing_tokens=True`).
- **special_tokens_mask** -- Daftar angka 0 dan 1, di mana 1 menandakan token khusus yang ditambahkan dan 0 menandakan token urutan reguler (ketika `add_special_tokens=True` dan `return_special_tokens_mask=True`).
- **length** -- Panjang dari input (ketika `return_length=True`)

Metode utama untuk melakukan tokenisasi dan persiapan satu atau beberapa urutan, atau satu atau beberapa pasangan urutan, untuk model.

#### save_vocabulary[[transformers.SpeechT5Tokenizer.save_vocabulary]]

```python
save_vocabulary(save_directory: str, filename_prefix: str | None = None)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_sentencepiece.py#L237)

**Parameter:**

save_directory (`str`) : Direktori tempat menyimpan kosa kata.

filename_prefix (`str`, *opsional*) : Prefiks opsional untuk ditambahkan ke nama file yang disimpan.

**Mengembalikan:** `tuple(str)`

Path ke file yang disimpan.

Simpan kosakata sentencepiece (salin file asli) ke sebuah direktori.

#### decode[[transformers.SpeechT5Tokenizer.decode]]

```python
decode(token_ids: int | list[int] | list[list[int]] | np.ndarray | torch.Tensor, skip_special_tokens: bool = False, **kwargs)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_base.py#L2884)

**Parameter:**

token_ids (`Union[int, list[int], list[list[int]], np.ndarray, torch.Tensor]`) : Satu urutan atau batch (daftar urutan) dari id input yang telah ditokenisasi. Dapat diperoleh menggunakan metode `__call__`.

skip_special_tokens (`bool`, *opsional*, default `False`) : Apakah token khusus akan dihapus saat decoding.

kwargs (argumen kata kunci tambahan, *opsional*) : Akan diteruskan ke metode decode spesifik model yang mendasarinya.

**Mengembalikan:** `Union[str, list[str]]`

String yang telah didekode untuk satu sekuens, atau daftar string yang telah didekode untuk batch sekuens.

Mengonversi rangkaian id menjadi string, atau daftar rangkaian menjadi daftar string, menggunakan tokenizer dan kosakata dengan opsi untuk menghapus token khusus dan merapikan spasi tokenisasi.

Mirip dengan melakukan `self.convert_tokens_to_string(self.convert_ids_to_tokens(token_ids))`.

#### batch_decode[[transformers.SpeechT5Tokenizer.batch_decode]]

```python
batch_decode(sequences: list[int] | list[list[int]] | np.ndarray | torch.Tensor, skip_special_tokens: bool = False, clean_up_tokenization_spaces: bool | None = None, **kwargs)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/tokenization_utils_base.py#L2932)

**Parameter:**

sequences (`Union[list[int], list[list[int]], np.ndarray, torch.Tensor]`) : Daftar id input yang telah ditokenisasi. Dapat diperoleh menggunakan metode `__call__`.

skip_special_tokens (`bool`, *opsional*, default `False`) : Apakah token khusus akan dihapus saat decoding.

clean_up_tokenization_spaces (`bool`, *opsional*) : Apakah akan membersihkan spasi tokenisasi atau tidak. Jika `None`, akan menggunakan nilai default `self.clean_up_tokenization_spaces`.

kwargs (argumen kata kunci tambahan, *opsional*) : Akan diteruskan ke metode decode spesifik model yang mendasarinya.

**Mengembalikan:** `list[str]`

Daftar kalimat yang telah didekode.

Konversi daftar dari daftar id token menjadi daftar string dengan memanggil decode.

Metode ini disediakan untuk kompatibilitas mundur. Metode `decode` sekarang menangani input berbatch secara native, sehingga Anda dapat menggunakan `decode` secara langsung alih-alih `batch_decode`.

## SpeechT5FeatureExtractor[[transformers.SpeechT5FeatureExtractor]]

#### transformers.SpeechT5FeatureExtractor[[transformers.SpeechT5FeatureExtractor]]

```python
transformers.SpeechT5FeatureExtractor(feature_size: int = 1, sampling_rate: int = 16000, padding_value: float = 0.0, do_normalize: bool = False, num_mel_bins: int = 80, hop_length: int = 16, win_length: int = 64, win_function: str = 'hann_window', fmin: float = 80, fmax: float = 7600, mel_floor: float = 1e-10, return_attention_mask: bool = True, **kwargs)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/feature_extraction_speecht5.py#L29)

**Parameter:**

feature_size (`int`, *opsional*, default 1) : Dimensi fitur dari fitur yang diekstrak.

sampling_rate (`int`, *opsional*, default 16000) : Laju sampling di mana file audio harus didigitalisasi, dinyatakan dalam hertz (Hz).

padding_value (`float`, *opsional*, default 0.0) : Nilai yang digunakan untuk mengisi nilai padding.

do_normalize (`bool`, *opsional*, defaultnya `False`) : Apakah akan menormalisasi input menjadi nol-rata-rata dan varians-satuan. Normalisasi dapat membantu meningkatkan kinerja secara signifikan untuk beberapa model.

num_mel_bins (`int`, *opsional*, defaultnya 80) : Jumlah bin frekuensi mel dalam fitur spektrogram yang diekstrak.

hop_length (`int`, *opsional*, default 16) : Jumlah ms antar jendela. Istilah lain yang sering digunakan dalam banyak paper adalah "shift".

win_length (`int`, *opsional*, default 64) : Jumlah ms per jendela.

win_function (`str`, *opsional*, defaultnya `"hann_window"`) : Nama untuk fungsi window yang digunakan untuk windowing, harus dapat diakses melalui `torch.{win_function}`

fmin (`float`, *opsional*, default 80) : Frekuensi mel minimum dalam Hz.

fmax (`float`, *opsional*, default 7600) : Frekuensi mel maksimum dalam Hz.

mel_floor (`float`, *opsional*, default 1e-10) : Nilai minimum dari bank frekuensi mel.

return_attention_mask (`bool`, *opsional*, defaultnya `True`) : Apakah [__call__()](/docs/transformers/v5.23.0/id/model_doc/speecht5#transformers.SpeechT5FeatureExtractor.__call__) harus mengembalikan `attention_mask` atau tidak.

Membangun feature extractor SpeechT5.

Kelas ini dapat memproses pra sinyal ucapan mentah dengan (secara opsional) menormalisasi ke rata-rata nol dan varians satu, untuk digunakan oleh prenet encoder ucapan SpeechT5.

Kelas ini juga dapat mengekstrak fitur log-mel filter bank dari ucapan mentah, untuk digunakan oleh prenet decoder ucapan SpeechT5.

Feature extractor ini mewarisi dari [SequenceFeatureExtractor](/docs/transformers/v5.23.0/id/main_classes/feature_extractor#transformers.SequenceFeatureExtractor) yang berisi sebagian besar metode utama. Pengguna harus merujuk ke superclass ini untuk informasi lebih lanjut mengenai metode-metode tersebut.

#### __call__[[transformers.SpeechT5FeatureExtractor.__call__]]

```python
__call__(audio: numpy.ndarray | list[float] | list[numpy.ndarray] | list[list[float]] | None = None, audio_target: numpy.ndarray | list[float] | list[numpy.ndarray] | list[list[float]] | None = None, padding: bool | str | transformers.utils.generic.PaddingStrategy = False, max_length: int | None = None, truncation: bool = False, pad_to_multiple_of: int | None = None, return_attention_mask: bool | None = None, return_tensors: str | transformers.utils.generic.TensorType | None = None, sampling_rate: int | None = None, **kwargs)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/feature_extraction_speecht5.py#L159)

**Parameter:**

audio (`np.ndarray`, `list[float]`, `list[np.ndarray]`, `list[list[float]]`, *opsional*) : Urutan atau batch dari urutan-urutan yang akan diproses. Setiap urutan dapat berupa array numpy, daftar nilai float, daftar array numpy, atau daftar dari daftar nilai float. Ini menghasilkan fitur waveform. Harus berupa audio mono channel, bukan stereo, yaitu satu float per timestep.

audio_target (`np.ndarray`, `list[float]`, `list[np.ndarray]`, `list[list[float]]`, *opsional*) : Urutan atau batch dari urutan-urutan yang akan diproses sebagai target. Setiap urutan dapat berupa array numpy, daftar nilai float, daftar array numpy, atau daftar dari daftar nilai float. Ini menghasilkan fitur log-mel spectrogram.

padding (`bool`, `str` atau [PaddingStrategy](/docs/transformers/v5.23.0/id/internal/file_utils#transformers.utils.PaddingStrategy), *opsional*, default `False`) : Pilih strategi untuk melakukan padding pada urutan yang dikembalikan (sesuai sisi padding dan indeks padding model) di antara: - `True` atau `'longest'`: Pad hingga urutan terpanjang dalam batch (atau tanpa padding jika hanya satu urutan yang diberikan). - `'max_length'`: Pad hingga panjang maksimum yang ditentukan dengan argumen `max_length` atau hingga panjang input maksimum yang dapat diterima oleh model jika argumen tersebut tidak diberikan. - `False` atau `'do_not_pad'` (default): Tanpa padding (yaitu, dapat menghasilkan batch dengan urutan yang panjangnya berbeda-beda).

max_length (`int`, *opsional*) : Panjang maksimum dari daftar yang dikembalikan dan secara opsional panjang padding (lihat di atas).

truncation (`bool`) : Mengaktifkan pemotongan untuk memotong urutan input yang lebih panjang dari *max_length* menjadi *max_length*.

pad_to_multiple_of (`int`, *opsional*) : Jika diset, akan melakukan padding pada urutan menjadi kelipatan dari nilai yang diberikan. Hal ini sangat berguna untuk memungkinkan penggunaan Tensor Cores pada perangkat keras NVIDIA dengan compute capability `>= 7.5` (Volta), atau pada TPU yang diuntungkan dari panjang urutan yang merupakan kelipatan 128.

return_attention_mask (`bool`, *opsional*) : Apakah akan mengembalikan attention mask. Jika dibiarkan pada nilai default, attention mask akan dikembalikan sesuai dengan default dari feature_extractor tertentu.  [Apa itu attention mask?](../glossary#attention-mask)

return_tensors (`str` atau [TensorType](/docs/transformers/v5.23.0/id/internal/file_utils#transformers.TensorType), *opsional*) : Jika diatur, akan mengembalikan tensor alih-alih daftar bilangan bulat python. Nilai yang dapat diterima adalah:  - `'pt'`: Mengembalikan objek `torch.Tensor` PyTorch. - `'np'`: Mengembalikan objek `np.ndarray` Numpy.

sampling_rate (`int`, *opsional*) : Laju pengambilan sampel di mana input `audio` atau `audio_target` diambil sampelnya. Sangat disarankan untuk meneruskan `sampling_rate` pada panggilan forward untuk mencegah kesalahan yang tidak terdeteksi.

Metode utama untuk melakukan featurisasi dan persiapan satu atau beberapa sekuens untuk model.

Lewatkan nilai untuk `audio` untuk mengekstrak fitur waveform. Lewatkan nilai untuk `audio_target` untuk mengekstrak fitur log-mel spectrogram.

## SpeechT5Processor[[transformers.SpeechT5Processor]]

#### transformers.SpeechT5Processor[[transformers.SpeechT5Processor]]

```python
transformers.SpeechT5Processor(feature_extractor, tokenizer)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/processing_speecht5.py#L21)

**Parameter:**

feature_extractor (`SpeechT5FeatureExtractor`) : Ekstraktor fitur adalah input yang wajib.

tokenizer (`SpeechT5Tokenizer`) : Tokenizer adalah input yang wajib.

Membangun SpeechT5Processor yang membungkus feature extractor dan tokenizer menjadi satu processor.

[SpeechT5Processor](/docs/transformers/v5.23.0/id/model_doc/speecht5#transformers.SpeechT5Processor) menyediakan semua fungsionalitas dari [SpeechT5FeatureExtractor](/docs/transformers/v5.23.0/id/model_doc/speecht5#transformers.SpeechT5FeatureExtractor) dan [SpeechT5Tokenizer](/docs/transformers/v5.23.0/id/model_doc/speecht5#transformers.SpeechT5Tokenizer). Lihat [~SpeechT5FeatureExtractor](/docs/transformers/v5.23.0/id/model_doc/speecht5#transformers.SpeechT5FeatureExtractor) dan [~SpeechT5Tokenizer](/docs/transformers/v5.23.0/id/model_doc/speecht5#transformers.SpeechT5Tokenizer) untuk informasi lebih lanjut.

#### __call__[[transformers.SpeechT5Processor.__call__]]

```python
__call__(*args, **kwargs)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/processing_speecht5.py#L25)

**Parameter:**

return_tensors (`str` atau [TensorType](/docs/transformers/v5.23.0/id/internal/file_utils#transformers.TensorType), *opsional*) : Jika diatur, akan mengembalikan tensor dari framework tertentu. Nilai yang dapat diterima adalah:  - `'pt'`: Mengembalikan objek `torch.Tensor` PyTorch. - `'np'`: Mengembalikan objek `np.ndarray` NumPy.

#### pad[[transformers.SpeechT5Processor.pad]]

```python
pad(*args, **kwargs)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/processing_speecht5.py#L74)

Mengelompokkan input audio dan teks, beserta targetnya, menjadi batch yang di-*pad*.

Input audio di-pad oleh [pad()](/docs/transformers/v5.23.0/id/main_classes/feature_extractor#transformers.SequenceFeatureExtractor.pad) dari SpeechT5FeatureExtractor. Input teks di-pad oleh [pad()](/docs/transformers/v5.23.0/id/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.pad) dari SpeechT5Tokenizer.

Kombinasi input yang valid adalah:

- hanya `input_ids`
- hanya `input_values`
- `labels` saja, berupa log-mel spectrogram atau token teks
- `input_ids` dan log-mel spectrogram `labels`
- `input_values` dan teks `labels`

Silakan merujuk pada docstring dari dua metode di atas untuk informasi lebih lanjut.

#### from_pretrained[[transformers.SpeechT5Processor.from_pretrained]]

```python
from_pretrained(pretrained_model_name_or_path: str | os.PathLike, cache_dir: str | os.PathLike | None = None, force_download: bool = False, local_files_only: bool = False, token: str | bool | None = None, revision: str = 'main', **kwargs)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/processing_utils.py#L1799)

**Parameter:**

pretrained_model_name_or_path (`str` atau `os.PathLike`) : Ini bisa berupa:  - string, *model id* dari feature_extractor pretrained yang dihosting di dalam model repo di huggingface.co. - path ke *directory* yang berisi file feature extractor yang disimpan menggunakan metode [save_pretrained()](/docs/transformers/v5.23.0/id/main_classes/feature_extractor#transformers.FeatureExtractionMixin.save_pretrained), misalnya `./my_model_directory/`. - path ke file JSON feature extractor yang disimpan, *file*, misalnya `./my_model_directory/preprocessor_config.json`.

- ****kwargs** : Argumen kata kunci tambahan yang diteruskan ke [from_pretrained()](/docs/transformers/v5.23.0/id/main_classes/feature_extractor#transformers.FeatureExtractionMixin.from_pretrained) dan `~tokenization_utils_base.PreTrainedTokenizer.from_pretrained`.

Instansiasi prosesor yang terkait dengan model pretrained.

Metode kelas ini hanya memanggil metode [from_pretrained()](/docs/transformers/v5.23.0/id/main_classes/feature_extractor#transformers.FeatureExtractionMixin.from_pretrained) dari feature extractor, [ImageProcessingMixin](/docs/transformers/v5.23.0/id/internal/image_processing_utils#transformers.ImageProcessingMixin) dari image processor, dan `~tokenization_utils_base.PreTrainedTokenizer.from_pretrained` dari tokenizer. Silakan merujuk ke docstring dari metode-metode di atas untuk informasi lebih lanjut.

#### save_pretrained[[transformers.SpeechT5Processor.save_pretrained]]

```python
save_pretrained(save_directory, push_to_hub: bool = False, **kwargs)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/processing_utils.py#L1182)

**Parameter:**

save_directory (`str` atau `os.PathLike`) : Direktori tempat file JSON feature extractor dan file tokenizer akan disimpan (direktori akan dibuat jika belum ada).

push_to_hub (`bool`, *opsional*, default `False`) : Apakah model akan didorong ke Hugging Face model hub setelah disimpan. Anda dapat menentukan repositori tujuan dengan `repo_id` (defaultnya adalah nama `save_directory` di namespace Anda).

kwargs (`dict[str, Any]`, *opsional*) : Argumen kata kunci tambahan yang diteruskan ke metode [push_to_hub()](/docs/transformers/v5.23.0/id/main_classes/model#transformers.utils.PushToHubMixin.push_to_hub).

Menyimpan atribut prosesor ini (feature extractor, tokenizer...) ke dalam direktori yang ditentukan sehingga dapat dimuat ulang menggunakan metode [from_pretrained()](/docs/transformers/v5.23.0/id/model_doc/wav2vec2#transformers.Wav2Vec2Processor.from_pretrained).

Metode kelas ini hanya memanggil [save_pretrained()](/docs/transformers/v5.23.0/id/main_classes/feature_extractor#transformers.FeatureExtractionMixin.save_pretrained) dan [save_pretrained()](/docs/transformers/v5.23.0/id/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.save_pretrained). Silakan merujuk ke docstring dari metode di atas untuk informasi lebih lanjut.

#### batch_decode[[transformers.SpeechT5Processor.batch_decode]]

```python
batch_decode(*args, **kwargs)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/processing_utils.py#L2054)

Metode ini meneruskan semua argumennya ke [batch_decode()](/docs/transformers/v5.23.0/id/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.batch_decode) dari PreTrainedTokenizer. Silakan lihat docstring dari metode ini untuk informasi lebih lanjut.

#### decode[[transformers.SpeechT5Processor.decode]]

```python
decode(*args, **kwargs)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/processing_utils.py#L2063)

Metode ini meneruskan semua argumennya ke [decode()](/docs/transformers/v5.23.0/id/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.decode) dari PreTrainedTokenizer. Silakan lihat docstring dari metode ini untuk informasi lebih lanjut.

## SpeechT5Model[[transformers.SpeechT5Model]]

#### transformers.SpeechT5Model[[transformers.SpeechT5Model]]

```python
transformers.SpeechT5Model(config: SpeechT5Config, encoder: typing.Optional[torch.nn.Module] = None, decoder: typing.Optional[torch.nn.Module] = None)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/modeling_speecht5.py#L1852)

**Parameter:**

config ([SpeechT5Config](/docs/transformers/v5.23.0/id/model_doc/speecht5#transformers.SpeechT5Config)) : Kelas konfigurasi model dengan semua parameter model. Inisialisasi dengan file konfigurasi tidak memuat bobot yang terkait dengan model, hanya konfigurasinya. Lihat metode [from_pretrained()](/docs/transformers/v5.23.0/id/main_classes/model#transformers.PreTrainedModel.from_pretrained) untuk memuat bobot model.

encoder (`PreTrainedModel`, *opsional*) : Model encoder yang akan digunakan.

decoder (`PreTrainedModel`, *opsional*) : Model decoder yang akan digunakan.

Model SpeechT5 Encoder-Decoder murni yang menghasilkan hidden-states mentah tanpa pre-net atau post-net tertentu.

Model ini mewarisi dari [PreTrainedModel](/docs/transformers/v5.23.0/id/main_classes/model#transformers.PreTrainedModel). Periksa dokumentasi kelas induk untuk metode generik yang diimplementasikan oleh pustaka ini untuk semua model (seperti mengunduh atau menyimpan, mengubah ukuran input embeddings, memangkas heads, dll.)

Model ini juga merupakan subclass dari [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) PyTorch. Gunakan sebagai PyTorch Module biasa dan merujuk ke dokumentasi PyTorch untuk semua hal yang berkaitan dengan penggunaan dan perilaku umum.

#### forward[[transformers.SpeechT5Model.forward]]

```python
forward(input_values: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.LongTensor] = None, decoder_input_values: typing.Optional[torch.Tensor] = None, decoder_attention_mask: typing.Optional[torch.LongTensor] = None, encoder_outputs: tuple[tuple[torch.Tensor]] | None = None, past_key_values: transformers.cache_utils.Cache | None = None, use_cache: bool | None = None, speaker_embeddings: typing.Optional[torch.Tensor] = None, output_attentions: bool | None = None, output_hidden_states: bool | None = None, return_dict: bool | None = None, **kwargs)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/modeling_speecht5.py#L1894)

**Parameter:**

input_values (`torch.Tensor` dengan bentuk `(batch_size, sequence_length)`) : Tergantung pada encoder yang digunakan, `input_values` berupa: nilai float dari waveform ucapan mentah, atau indeks token urutan input dalam kosakata, atau hidden states.

attention_mask (`torch.LongTensor` dengan bentuk `(batch_size, sequence_length)`, *opsional*) : Mask untuk menghindari pelaksanaan attention pada indeks token padding. Nilai mask dipilih dalam `[0, 1]`:  - 1 untuk token yang **tidak di-mask**, - 0 untuk token yang **di-mask**.  [Apa itu attention masks?](../glossary#attention-mask)

decoder_input_values (`torch.Tensor` dengan bentuk `(batch_size, target_sequence_length)`, *opsional*) : Tergantung pada decoder yang digunakan, `decoder_input_values` adalah salah satu dari: nilai float dari fitur log-mel filterbank yang diekstrak dari gelombang suara mentah, atau indeks token urutan input decoder dalam kosakata, atau hidden states.

decoder_attention_mask (`torch.LongTensor` dengan bentuk `(batch_size, target_sequence_length)`, *opsional*) : Perilaku bawaan: menghasilkan tensor yang mengabaikan token pad di `decoder_input_values`. Causal mask juga akan digunakan secara bawaan. Jika Anda ingin mengubah perilaku padding, Anda harus membaca `SpeechT5Decoder._prepare_decoder_attention_mask` dan memodifikasinya sesuai kebutuhan Anda. Lihat diagram 1 di [makalah](https://huggingface.co/papers/1910.13461) untuk informasi lebih lanjut tentang strategi bawaan.

encoder_outputs (`tuple[tuple[torch.Tensor]]`, *opsional*) : Tuple terdiri dari (`last_hidden_state`, *opsional*: `hidden_states`, *opsional*: `attentions`) `last_hidden_state` dengan bentuk `(batch_size, sequence_length, hidden_size)`, *opsional*) adalah urutan hidden-states pada keluaran lapisan terakhir encoder. Digunakan dalam cross-attention decoder.

past_key_values (`~cache_utils.Cache`, *opsional*) : Hidden-states yang telah dihitung sebelumnya (key dan values di blok self-attention dan di blok cross-attention) yang dapat digunakan untuk mempercepat decoding berurutan. Ini biasanya terdiri dari `past_key_values` yang dikembalikan oleh model pada tahap decoding sebelumnya, ketika `use_cache=True` atau `config.use_cache=True`. Hanya instance [Cache](/docs/transformers/v5.23.0/id/internal/generation_utils#transformers.Cache) yang diizinkan sebagai input, lihat [panduan kv cache](https://huggingface.co/docs/transformers/en/kv_cache) kami. Jika tidak ada `past_key_values` yang diteruskan, [DynamicCache](/docs/transformers/v5.23.0/id/internal/generation_utils#transformers.DynamicCache) akan diinisialisasi secara default. Model akan mengoutput format cache yang sama dengan yang diberikan sebagai input. Jika `past_key_values` digunakan, pengguna diharapkan untuk hanya menginput `input_ids` yang belum diproses (yang tidak memiliki state past key value mereka diberikan ke model ini) dengan bentuk `(batch_size, unprocessed_length)` alih-alih semua `input_ids` dengan bentuk `(batch_size, sequence_length)`.

use_cache (`bool`, *opsional*) : Jika diatur ke `True`, state kunci-nilai `past_key_values` akan dikembalikan dan dapat digunakan untuk mempercepat decoding (lihat `past_key_values`).

speaker_embeddings (`torch.Tensor` dengan bentuk `(batch_size, config.speaker_embedding_dim)`, *opsional*) : Tensor yang berisi speaker embeddings.

output_attentions (`bool`, *opsional*) : Apakah akan mengembalikan tensor perhatian dari semua lapisan perhatian. Lihat `attentions` di bawah tensor yang dikembalikan untuk detail lebih lanjut.

output_hidden_states (`bool`, *opsional*) : Apakah akan mengembalikan hidden states dari semua lapisan. Lihat `hidden_states` di bawah tensor yang dikembalikan untuk detail lebih lanjut.

return_dict (`bool`, *opsional*) : Apakah akan mengembalikan [ModelOutput](/docs/transformers/v5.23.0/id/main_classes/output#transformers.utils.ModelOutput) alih-alih tuple biasa.

**Mengembalikan:** [Seq2SeqModelOutput](/docs/transformers/v5.23.0/id/main_classes/output#transformers.modeling_outputs.Seq2SeqModelOutput) atau `tuple(torch.Tensor)`

[Seq2SeqModelOutput](/docs/transformers/v5.23.0/id/main_classes/output#transformers.modeling_outputs.Seq2SeqModelOutput) atau tuple dari `torch.Tensor` (jika `return_dict=False` diteruskan atau ketika `config.return_dict=False`) yang terdiri dari berbagai elemen tergantung pada konfigurasi ([SpeechT5Config](/docs/transformers/v5.23.0/id/model_doc/speecht5#transformers.SpeechT5Config)) dan input.

Metode forward dari [SpeechT5Model](/docs/transformers/v5.23.0/id/model_doc/speecht5#transformers.SpeechT5Model) menimpa metode khusus `__call__`.

Meskipun resep untuk forward pass perlu didefinisikan di dalam fungsi ini, sebaiknya panggil instance `Module` setelahnya alih-alih fungsi ini, karena yang pertama menangani langkah-langkah pra-pemrosesan dan pasca-pemrosesan, sedangkan yang kedua mengabaikannya secara diam-diam.

- **last_hidden_state** (`torch.Tensor` dengan bentuk `(batch_size, sequence_length, hidden_size)`) -- Urutan hidden-state pada keluaran lapisan terakhir dari decoder model.

  Jika `past_key_values` digunakan, hanya hidden-state terakhir dari sekuens dengan bentuk `(batch_size, 1, hidden_size)` yang dioutput.
- **past_key_values** (`EncoderDecoderCache`, *opsional*, dikembalikan ketika `use_cache=True` diteruskan atau ketika `config.use_cache=True`) -- Ini adalah instance [EncoderDecoderCache](/docs/transformers/v5.23.0/id/internal/generation_utils#transformers.EncoderDecoderCache). Untuk detail lebih lanjut, lihat [panduan kv cache](https://huggingface.co/docs/transformers/en/kv_cache) kami.

  Berisi hidden-states yang telah dihitung sebelumnya (key dan values di blok self-attention dan di blok cross-attention) yang dapat digunakan (lihat input `past_key_values`) untuk mempercepat decoding berurutan.
- **decoder_hidden_states** (`tuple(torch.Tensor)`, *opsional*, dikembalikan saat `output_hidden_states=True` dilewatkan atau saat `config.output_hidden_states=True`) -- Tuple dari `torch.Tensor` (satu untuk output dari embeddings, jika model memiliki lapisan embedding, + satu untuk output dari setiap lapisan) dengan bentuk `(batch_size, sequence_length, hidden_size)`.

  Hidden-states dari decoder pada output setiap layer ditambah output embedding awal yang opsional.
- **decoder_attentions** (`tuple(torch.Tensor)`, *opsional*, dikembalikan ketika `output_attentions=True` diteruskan atau ketika `config.output_attentions=True`) -- Tuple dari `torch.Tensor` (satu untuk setiap layer) dengan bentuk `(batch_size, num_heads, sequence_length, sequence_length)`.

  Bobot perhatian dari decoder, setelah softmax perhatian, yang digunakan untuk menghitung rata-rata berbobot di kepala self-attention.
- **cross_attentions** (`tuple(torch.Tensor)`, *opsional*, dikembalikan ketika `output_attentions=True` dilewatkan atau ketika `config.output_attentions=True`) -- Tuple dari `torch.Tensor` (satu untuk setiap layer) dengan bentuk `(batch_size, num_heads, sequence_length, sequence_length)`.

  Bobot perhatian dari lapisan cross-attention decoder, setelah softmax perhatian, yang digunakan untuk menghitung rata-rata berbobot di kepala cross-attention.
- **encoder_last_hidden_state** (`torch.Tensor` dengan bentuk `(batch_size, sequence_length, hidden_size)`, *opsional*) -- Urutan hidden-states pada keluaran lapisan terakhir dari encoder model.
- **encoder_hidden_states** (`tuple(torch.Tensor)`, *opsional*, dikembalikan ketika `output_hidden_states=True` diteruskan atau ketika `config.output_hidden_states=True`) -- Tuple dari `torch.Tensor` (satu untuk output dari embeddings, jika model memiliki lapisan embedding, + satu untuk output dari setiap lapisan) dengan bentuk `(batch_size, sequence_length, hidden_size)`.

  Hidden-states dari encoder pada output setiap layer ditambah output embedding awal yang opsional.
- **encoder_attentions** (`tuple(torch.Tensor)`, *opsional*, dikembalikan ketika `output_attentions=True` dilewatkan atau ketika `config.output_attentions=True`) -- Tuple dari `torch.Tensor` (satu untuk setiap layer) dengan bentuk `(batch_size, num_heads, sequence_length, sequence_length)`.

  Bobot perhatian dari encoder, setelah softmax perhatian, yang digunakan untuk menghitung rata-rata berbobot di kepala self-attention.

## SpeechT5ForSpeechToText[[transformers.SpeechT5ForSpeechToText]]

#### transformers.SpeechT5ForSpeechToText[[transformers.SpeechT5ForSpeechToText]]

```python
transformers.SpeechT5ForSpeechToText(config: SpeechT5Config)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/modeling_speecht5.py#L1998)

**Parameter:**

config ([SpeechT5Config](/docs/transformers/v5.23.0/id/model_doc/speecht5#transformers.SpeechT5Config)) : Kelas konfigurasi model dengan semua parameter model. Inisialisasi dengan file konfigurasi tidak memuat bobot yang terkait dengan model, hanya konfigurasinya. Lihat metode [from_pretrained()](/docs/transformers/v5.23.0/id/main_classes/model#transformers.PreTrainedModel.from_pretrained) untuk memuat bobot model.

Model SpeechT5 dengan encoder ucapan dan decoder teks.

Model ini mewarisi dari [PreTrainedModel](/docs/transformers/v5.23.0/id/main_classes/model#transformers.PreTrainedModel). Periksa dokumentasi kelas induk untuk metode generik yang diimplementasikan oleh pustaka ini untuk semua model (seperti mengunduh atau menyimpan, mengubah ukuran input embeddings, memangkas heads, dll.)

Model ini juga merupakan subclass dari [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) PyTorch. Gunakan sebagai PyTorch Module biasa dan merujuk ke dokumentasi PyTorch untuk semua hal yang berkaitan dengan penggunaan dan perilaku umum.

#### forward[[transformers.SpeechT5ForSpeechToText.forward]]

```python
forward(input_values: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.LongTensor] = None, decoder_input_ids: typing.Optional[torch.LongTensor] = None, decoder_attention_mask: typing.Optional[torch.LongTensor] = None, encoder_outputs: tuple[tuple[torch.Tensor]] | None = None, past_key_values: transformers.cache_utils.Cache | None = None, use_cache: bool | None = None, output_attentions: bool | None = None, output_hidden_states: bool | None = None, return_dict: bool | None = None, labels: typing.Optional[torch.LongTensor] = None, **kwargs)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/modeling_speecht5.py#L2034)

**Parameter:**

input_values (`torch.Tensor` dengan bentuk `(batch_size, sequence_length)`) : Nilai float dari waveform ucapan mentah input. Nilai dapat diperoleh dengan memuat file audio *.flac* atau *.wav* ke dalam array bertipe `list[float]`, `numpy.ndarray`, atau `torch.Tensor`, *misalnya* melalui pustaka torchcodec (`pip install torchcodec`) atau pustaka soundfile (`pip install soundfile`). Untuk menyiapkan array menjadi `input_values`, gunakan [SpeechT5Processor](/docs/transformers/v5.23.0/id/model_doc/speecht5#transformers.SpeechT5Processor) untuk padding dan konversi menjadi tensor bertipe `torch.Tensor`. Lihat [SpeechT5Processor.__call__()](/docs/transformers/v5.23.0/id/model_doc/speecht5#transformers.SpeechT5Processor.__call__) untuk detailnya.

attention_mask (`torch.LongTensor` dengan bentuk `(batch_size, sequence_length)`, *opsional*) : Mask untuk menghindari pelaksanaan attention pada indeks token padding. Nilai mask dipilih dalam `[0, 1]`:  - 1 untuk token yang **tidak di-mask**, - 0 untuk token yang **di-mask**.  [Apa itu attention masks?](../glossary#attention-mask)

decoder_input_ids (`torch.LongTensor` dengan bentuk `(batch_size, target_sequence_length)`, *opsional*) : Indeks token dari urutan input decoder dalam kosakata. Indeks dapat diperoleh menggunakan [SpeechT5Tokenizer](/docs/transformers/v5.23.0/id/model_doc/speecht5#transformers.SpeechT5Tokenizer). Lihat [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/id/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) dan [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/id/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) untuk detail. [Apa itu decoder input IDs?](../glossary#decoder-input-ids) SpeechT5 menggunakan `eos_token_id` sebagai token awal untuk generasi `decoder_input_ids`. Jika `past_key_values` digunakan, secara opsional hanya `decoder_input_ids` terakhir yang perlu diinput (lihat `past_key_values`).

decoder_attention_mask (`torch.LongTensor` dengan bentuk `(batch_size, target_sequence_length)`, *opsional*) : Perilaku bawaan: menghasilkan tensor yang mengabaikan token pad di `decoder_input_values`. Causal mask juga akan digunakan secara bawaan. Jika Anda ingin mengubah perilaku padding, Anda harus membaca `SpeechT5Decoder._prepare_decoder_attention_mask` dan memodifikasinya sesuai kebutuhan Anda. Lihat diagram 1 di [makalah](https://huggingface.co/papers/1910.13461) untuk informasi lebih lanjut tentang strategi bawaan.

encoder_outputs (`tuple[tuple[torch.Tensor]]`, *opsional*) : Tuple terdiri dari (`last_hidden_state`, *opsional*: `hidden_states`, *opsional*: `attentions`) `last_hidden_state` dengan bentuk `(batch_size, sequence_length, hidden_size)`, *opsional*) adalah urutan hidden-states pada keluaran lapisan terakhir encoder. Digunakan dalam cross-attention decoder.

past_key_values (`~cache_utils.Cache`, *opsional*) : Hidden-states yang telah dihitung sebelumnya (key dan values di blok self-attention dan di blok cross-attention) yang dapat digunakan untuk mempercepat decoding berurutan. Ini biasanya terdiri dari `past_key_values` yang dikembalikan oleh model pada tahap decoding sebelumnya, ketika `use_cache=True` atau `config.use_cache=True`. Hanya instance [Cache](/docs/transformers/v5.23.0/id/internal/generation_utils#transformers.Cache) yang diizinkan sebagai input, lihat [panduan kv cache](https://huggingface.co/docs/transformers/en/kv_cache) kami. Jika tidak ada `past_key_values` yang diteruskan, [DynamicCache](/docs/transformers/v5.23.0/id/internal/generation_utils#transformers.DynamicCache) akan diinisialisasi secara default. Model akan mengoutput format cache yang sama dengan yang diberikan sebagai input. Jika `past_key_values` digunakan, pengguna diharapkan untuk hanya menginput `input_ids` yang belum diproses (yang tidak memiliki state past key value mereka diberikan ke model ini) dengan bentuk `(batch_size, unprocessed_length)` alih-alih semua `input_ids` dengan bentuk `(batch_size, sequence_length)`.

use_cache (`bool`, *opsional*) : Jika diatur ke `True`, state kunci-nilai `past_key_values` akan dikembalikan dan dapat digunakan untuk mempercepat decoding (lihat `past_key_values`).

output_attentions (`bool`, *opsional*) : Apakah akan mengembalikan tensor perhatian dari semua lapisan perhatian. Lihat `attentions` di bawah tensor yang dikembalikan untuk detail lebih lanjut.

output_hidden_states (`bool`, *opsional*) : Apakah akan mengembalikan hidden states dari semua lapisan. Lihat `hidden_states` di bawah tensor yang dikembalikan untuk detail lebih lanjut.

return_dict (`bool`, *opsional*) : Apakah akan mengembalikan [ModelOutput](/docs/transformers/v5.23.0/id/main_classes/output#transformers.utils.ModelOutput) alih-alih tuple biasa.

labels (`torch.LongTensor` dengan bentuk `(batch_size, sequence_length)`, *opsional*) : Label untuk menghitung kerugian pemodelan bahasa. Indeks harus berada di `[0, ..., config.vocab_size]` atau -100 (lihat docstring `input_ids`). Token dengan indeks yang disetel ke `-100` diabaikan (diberi masker), kerugian hanya dihitung untuk token dengan label di `[0, ..., config.vocab_size]`. Indeks label dapat diperoleh menggunakan [SpeechT5Tokenizer](/docs/transformers/v5.23.0/id/model_doc/speecht5#transformers.SpeechT5Tokenizer). Lihat [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/id/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) dan [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/id/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) untuk detailnya.

**Mengembalikan:** [Seq2SeqLMOutput](/docs/transformers/v5.23.0/id/main_classes/output#transformers.modeling_outputs.Seq2SeqLMOutput) atau `tuple(torch.Tensor)`

[Seq2SeqLMOutput](/docs/transformers/v5.23.0/id/main_classes/output#transformers.modeling_outputs.Seq2SeqLMOutput) atau tuple dari `torch.Tensor` (jika `return_dict=False` diteruskan atau ketika `config.return_dict=False`) yang terdiri dari berbagai elemen tergantung pada konfigurasi ([SpeechT5Config](/docs/transformers/v5.23.0/id/model_doc/speecht5#transformers.SpeechT5Config)) dan input.

Metode forward dari [SpeechT5ForSpeechToText](/docs/transformers/v5.23.0/id/model_doc/speecht5#transformers.SpeechT5ForSpeechToText) menimpa metode khusus `__call__`.

Meskipun resep untuk forward pass perlu didefinisikan di dalam fungsi ini, sebaiknya panggil instance `Module` setelahnya alih-alih fungsi ini, karena yang pertama menangani langkah-langkah pra-pemrosesan dan pasca-pemrosesan, sedangkan yang kedua mengabaikannya secara diam-diam.

- **loss** (`torch.Tensor` dengan bentuk `(1,)`, *opsional*, dikembalikan ketika `labels` disediakan) -- Loss pemodelan bahasa.
- **logits** (`torch.Tensor` dengan bentuk `(batch_size, sequence_length, config.vocab_size)`) -- Skor prediksi dari kepala pemodelan bahasa (skor untuk setiap token kosakata sebelum SoftMax).
- **past_key_values** (`EncoderDecoderCache`, *opsional*, dikembalikan ketika `use_cache=True` diteruskan atau ketika `config.use_cache=True`) -- Ini adalah instance [EncoderDecoderCache](/docs/transformers/v5.23.0/id/internal/generation_utils#transformers.EncoderDecoderCache). Untuk detail lebih lanjut, lihat [panduan kv cache](https://huggingface.co/docs/transformers/en/kv_cache) kami.

  Berisi hidden-states yang telah dihitung sebelumnya (key dan values di blok self-attention dan di blok cross-attention) yang dapat digunakan (lihat input `past_key_values`) untuk mempercepat decoding berurutan.
- **decoder_hidden_states** (`tuple(torch.Tensor)`, *opsional*, dikembalikan saat `output_hidden_states=True` dilewatkan atau saat `config.output_hidden_states=True`) -- Tuple dari `torch.Tensor` (satu untuk output dari embeddings, jika model memiliki lapisan embedding, + satu untuk output dari setiap lapisan) dengan bentuk `(batch_size, sequence_length, hidden_size)`.

  Hidden-states dari decoder pada output setiap layer ditambah output embedding awal.
- **decoder_attentions** (`tuple(torch.Tensor)`, *opsional*, dikembalikan ketika `output_attentions=True` diteruskan atau ketika `config.output_attentions=True`) -- Tuple dari `torch.Tensor` (satu untuk setiap layer) dengan bentuk `(batch_size, num_heads, sequence_length, sequence_length)`.

  Bobot perhatian dari decoder, setelah softmax perhatian, yang digunakan untuk menghitung rata-rata berbobot di kepala self-attention.
- **cross_attentions** (`tuple(torch.Tensor)`, *opsional*, dikembalikan ketika `output_attentions=True` dilewatkan atau ketika `config.output_attentions=True`) -- Tuple dari `torch.Tensor` (satu untuk setiap layer) dengan bentuk `(batch_size, num_heads, sequence_length, sequence_length)`.

  Bobot perhatian dari lapisan cross-attention decoder, setelah softmax perhatian, yang digunakan untuk menghitung rata-rata berbobot di kepala cross-attention.
- **encoder_last_hidden_state** (`torch.Tensor` dengan bentuk `(batch_size, sequence_length, hidden_size)`, *opsional*) -- Urutan hidden-states pada keluaran lapisan terakhir dari encoder model.
- **encoder_hidden_states** (`tuple(torch.Tensor)`, *opsional*, dikembalikan ketika `output_hidden_states=True` diteruskan atau ketika `config.output_hidden_states=True`) -- Tuple dari `torch.Tensor` (satu untuk output dari embeddings, jika model memiliki lapisan embedding, + satu untuk output dari setiap lapisan) dengan bentuk `(batch_size, sequence_length, hidden_size)`.

  Hidden-states dari encoder pada output setiap layer ditambah output embedding awal.
- **encoder_attentions** (`tuple(torch.Tensor)`, *opsional*, dikembalikan ketika `output_attentions=True` dilewatkan atau ketika `config.output_attentions=True`) -- Tuple dari `torch.Tensor` (satu untuk setiap layer) dengan bentuk `(batch_size, num_heads, sequence_length, sequence_length)`.

  Bobot perhatian dari encoder, setelah softmax perhatian, yang digunakan untuk menghitung rata-rata berbobot di kepala self-attention.

Contoh:

```python
>>> from transformers import SpeechT5Processor, SpeechT5ForSpeechToText
>>> from datasets import load_dataset

>>> dataset = load_dataset(
...     "hf-internal-testing/librispeech_asr_demo", "clean", split="validation"
... )  # doctest: +IGNORE_RESULT
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate

>>> processor = SpeechT5Processor.from_pretrained("microsoft/speecht5_asr")
>>> model = SpeechT5ForSpeechToText.from_pretrained("microsoft/speecht5_asr")

>>> # audio file is decoded on the fly
>>> inputs = processor(audio=dataset[0]["audio"]["array"], sampling_rate=sampling_rate, return_tensors="pt")
>>> predicted_ids = model.generate(**inputs, max_length=100)

>>> # transcribe speech
>>> transcription = processor.batch_decode(predicted_ids, skip_special_tokens=True)
>>> transcription[0]
'mister quilter is the apostle of the middle classes and we are glad to welcome his gospel'
```

```python
>>> inputs["labels"] = processor(text_target=dataset[0]["text"], return_tensors="pt").input_ids

>>> # compute loss
>>> loss = model(**inputs).loss
>>> round(loss.item(), 2)
19.68
```

## SpeechT5ForTextToSpeech[[transformers.SpeechT5ForTextToSpeech]]

#### transformers.SpeechT5ForTextToSpeech[[transformers.SpeechT5ForTextToSpeech]]

```python
transformers.SpeechT5ForTextToSpeech(config: SpeechT5Config)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/modeling_speecht5.py#L2310)

**Parameter:**

config ([SpeechT5Config](/docs/transformers/v5.23.0/id/model_doc/speecht5#transformers.SpeechT5Config)) : Kelas konfigurasi model dengan semua parameter model. Inisialisasi dengan file konfigurasi tidak memuat bobot yang terkait dengan model, hanya konfigurasinya. Lihat metode [from_pretrained()](/docs/transformers/v5.23.0/id/main_classes/model#transformers.PreTrainedModel.from_pretrained) untuk memuat bobot model.

Model SpeechT5 dengan encoder teks dan decoder ucapan.

Model ini mewarisi dari [PreTrainedModel](/docs/transformers/v5.23.0/id/main_classes/model#transformers.PreTrainedModel). Periksa dokumentasi kelas induk untuk metode generik yang diimplementasikan oleh pustaka ini untuk semua model (seperti mengunduh atau menyimpan, mengubah ukuran input embeddings, memangkas heads, dll.)

Model ini juga merupakan subclass dari [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) PyTorch. Gunakan sebagai PyTorch Module biasa dan merujuk ke dokumentasi PyTorch untuk semua hal yang berkaitan dengan penggunaan dan perilaku umum.

#### forward[[transformers.SpeechT5ForTextToSpeech.forward]]

```python
forward(input_ids: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.LongTensor] = None, decoder_input_values: typing.Optional[torch.Tensor] = None, decoder_attention_mask: typing.Optional[torch.LongTensor] = None, encoder_outputs: tuple[tuple[torch.Tensor]] | None = None, past_key_values: transformers.cache_utils.Cache | None = None, use_cache: bool | None = None, output_attentions: bool | None = None, output_hidden_states: bool | None = None, return_dict: bool | None = None, speaker_embeddings: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.Tensor] = None, stop_labels: typing.Optional[torch.Tensor] = None, **kwargs)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/modeling_speecht5.py#L2341)

**Parameter:**

input_ids (`torch.LongTensor` dengan bentuk `(batch_size, sequence_length)`) : Indeks token dari urutan input dalam kosakata. Indeks dapat diperoleh menggunakan [SpeechT5Tokenizer](/docs/transformers/v5.23.0/id/model_doc/speecht5#transformers.SpeechT5Tokenizer). Lihat [encode()](/docs/transformers/v5.23.0/id/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) dan [__call__()](/docs/transformers/v5.23.0/id/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) untuk detailnya. [Apa itu input IDs?](../glossary#input-ids)

attention_mask (`torch.LongTensor` dengan bentuk `(batch_size, sequence_length)`, *opsional*) : Mask untuk menghindari pelaksanaan attention pada indeks token padding. Nilai mask dipilih dalam `[0, 1]`:  - 1 untuk token yang **tidak di-mask**, - 0 untuk token yang **di-mask**.  [Apa itu attention masks?](../glossary#attention-mask)

decoder_input_values (`torch.Tensor` dengan bentuk `(batch_size, sequence_length, config.num_mel_bins)`) : Nilai float dari mel spectrogram input. SpeechT5 menggunakan spektrum semua-nol sebagai token awal untuk generasi `decoder_input_values`. Jika `past_key_values` digunakan, secara opsional hanya `decoder_input_values` terakhir yang perlu diinput (lihat `past_key_values`).

decoder_attention_mask (`torch.LongTensor` dengan bentuk `(batch_size, target_sequence_length)`, *opsional*) : Perilaku bawaan: menghasilkan tensor yang mengabaikan token pad di `decoder_input_values`. Causal mask juga akan digunakan secara bawaan. Jika Anda ingin mengubah perilaku padding, Anda harus membaca `SpeechT5Decoder._prepare_decoder_attention_mask` dan memodifikasinya sesuai kebutuhan Anda. Lihat diagram 1 di [makalah](https://huggingface.co/papers/1910.13461) untuk informasi lebih lanjut tentang strategi bawaan.

encoder_outputs (`tuple[tuple[torch.Tensor]]`, *opsional*) : Tuple terdiri dari (`last_hidden_state`, *opsional*: `hidden_states`, *opsional*: `attentions`) `last_hidden_state` dengan bentuk `(batch_size, sequence_length, hidden_size)`, *opsional*) adalah urutan hidden-states pada keluaran lapisan terakhir encoder. Digunakan dalam cross-attention decoder.

past_key_values (`~cache_utils.Cache`, *opsional*) : Hidden-states yang telah dihitung sebelumnya (key dan values di blok self-attention dan di blok cross-attention) yang dapat digunakan untuk mempercepat decoding berurutan. Ini biasanya terdiri dari `past_key_values` yang dikembalikan oleh model pada tahap decoding sebelumnya, ketika `use_cache=True` atau `config.use_cache=True`. Hanya instance [Cache](/docs/transformers/v5.23.0/id/internal/generation_utils#transformers.Cache) yang diizinkan sebagai input, lihat [panduan kv cache](https://huggingface.co/docs/transformers/en/kv_cache) kami. Jika tidak ada `past_key_values` yang diteruskan, [DynamicCache](/docs/transformers/v5.23.0/id/internal/generation_utils#transformers.DynamicCache) akan diinisialisasi secara default. Model akan mengoutput format cache yang sama dengan yang diberikan sebagai input. Jika `past_key_values` digunakan, pengguna diharapkan untuk hanya menginput `input_ids` yang belum diproses (yang tidak memiliki state past key value mereka diberikan ke model ini) dengan bentuk `(batch_size, unprocessed_length)` alih-alih semua `input_ids` dengan bentuk `(batch_size, sequence_length)`.

use_cache (`bool`, *opsional*) : Jika diatur ke `True`, state kunci-nilai `past_key_values` akan dikembalikan dan dapat digunakan untuk mempercepat decoding (lihat `past_key_values`).

output_attentions (`bool`, *opsional*) : Apakah akan mengembalikan tensor perhatian dari semua lapisan perhatian. Lihat `attentions` di bawah tensor yang dikembalikan untuk detail lebih lanjut.

output_hidden_states (`bool`, *opsional*) : Apakah akan mengembalikan hidden states dari semua lapisan. Lihat `hidden_states` di bawah tensor yang dikembalikan untuk detail lebih lanjut.

return_dict (`bool`, *opsional*) : Apakah akan mengembalikan [ModelOutput](/docs/transformers/v5.23.0/id/main_classes/output#transformers.utils.ModelOutput) alih-alih tuple biasa.

speaker_embeddings (`torch.Tensor` dengan bentuk `(batch_size, config.speaker_embedding_dim)`, *opsional*) : Tensor yang berisi speaker embeddings.

labels (`torch.Tensor` dengan bentuk `(batch_size, sequence_length, config.num_mel_bins)`, *opsional*) : Nilai float dari target mel spectrogram. Timesteps yang diset ke `-100.0` diabaikan (diberi mask) untuk perhitungan loss. Spectrogram dapat diperoleh menggunakan [SpeechT5Processor](/docs/transformers/v5.23.0/id/model_doc/speecht5#transformers.SpeechT5Processor). Lihat [SpeechT5Processor.__call__()](/docs/transformers/v5.23.0/id/model_doc/speecht5#transformers.SpeechT5Processor.__call__) untuk detailnya.

stop_labels (`torch.Tensor` dengan bentuk `(batch_size, sequence_length)`, *opsional*) : Tensor biner yang menunjukkan posisi token stop dalam urutan.

**Mengembalikan:** [Seq2SeqSpectrogramOutput](/docs/transformers/v5.23.0/id/main_classes/output#transformers.modeling_outputs.Seq2SeqSpectrogramOutput) atau `tuple(torch.Tensor)`

A [Seq2SeqSpectrogramOutput](/docs/transformers/v5.23.0/id/main_classes/output#transformers.modeling_outputs.Seq2SeqSpectrogramOutput) atau tuple dari `torch.Tensor` (jika `return_dict=False` dilewatkan atau ketika `config.return_dict=False`) yang terdiri dari berbagai elemen tergantung pada konfigurasi ([SpeechT5Config](/docs/transformers/v5.23.0/id/model_doc/speecht5#transformers.SpeechT5Config)) dan input.

Metode forward dari [SpeechT5ForTextToSpeech](/docs/transformers/v5.23.0/id/model_doc/speecht5#transformers.SpeechT5ForTextToSpeech) menimpa metode khusus `__call__`.

Meskipun resep untuk forward pass perlu didefinisikan di dalam fungsi ini, sebaiknya panggil instance `Module` setelahnya alih-alih fungsi ini, karena yang pertama menangani langkah-langkah pra-pemrosesan dan pasca-pemrosesan, sedangkan yang kedua mengabaikannya secara diam-diam.

- **loss** (`torch.Tensor` dengan bentuk `(1,)`, *opsional*, dikembalikan ketika `labels` disediakan) -- Loss untuk generasi spektrogram.
- **spectrogram** (`torch.Tensor` dengan bentuk `(batch_size, sequence_length, num_bins)`) -- Spektrogram yang diprediksi.
- **past_key_values** (`EncoderDecoderCache`, *opsional*, dikembalikan ketika `use_cache=True` diteruskan atau ketika `config.use_cache=True`) -- Ini adalah instance [EncoderDecoderCache](/docs/transformers/v5.23.0/id/internal/generation_utils#transformers.EncoderDecoderCache). Untuk detail lebih lanjut, lihat [panduan kv cache](https://huggingface.co/docs/transformers/en/kv_cache) kami.

  Berisi hidden-states yang telah dihitung sebelumnya (key dan values di blok self-attention dan di blok cross-attention) yang dapat digunakan (lihat input `past_key_values`) untuk mempercepat decoding berurutan.
- **decoder_hidden_states** (`tuple(torch.Tensor)`, *opsional*, dikembalikan saat `output_hidden_states=True` dilewatkan atau saat `config.output_hidden_states=True`) -- Tuple dari `torch.Tensor` (satu untuk output dari embeddings, jika model memiliki lapisan embedding, + satu untuk output dari setiap lapisan) dengan bentuk `(batch_size, sequence_length, hidden_size)`.

  Hidden-states dari decoder pada output setiap layer ditambah output embedding awal.
- **decoder_attentions** (`tuple(torch.Tensor)`, *opsional*, dikembalikan ketika `output_attentions=True` diteruskan atau ketika `config.output_attentions=True`) -- Tuple dari `torch.Tensor` (satu untuk setiap layer) dengan bentuk `(batch_size, num_heads, sequence_length, sequence_length)`.

  Bobot perhatian dari decoder, setelah softmax perhatian, yang digunakan untuk menghitung rata-rata berbobot di kepala self-attention.
- **cross_attentions** (`tuple(torch.Tensor)`, *opsional*, dikembalikan ketika `output_attentions=True` dilewatkan atau ketika `config.output_attentions=True`) -- Tuple dari `torch.Tensor` (satu untuk setiap layer) dengan bentuk `(batch_size, num_heads, sequence_length, sequence_length)`.

  Bobot perhatian dari lapisan cross-attention decoder, setelah softmax perhatian, yang digunakan untuk menghitung rata-rata berbobot di kepala cross-attention.
- **encoder_last_hidden_state** (`torch.Tensor` dengan bentuk `(batch_size, sequence_length, hidden_size)`, *opsional*) -- Urutan hidden-states pada keluaran lapisan terakhir dari encoder model.
- **encoder_hidden_states** (`tuple(torch.Tensor)`, *opsional*, dikembalikan ketika `output_hidden_states=True` diteruskan atau ketika `config.output_hidden_states=True`) -- Tuple dari `torch.Tensor` (satu untuk output dari embeddings, jika model memiliki lapisan embedding, + satu untuk output dari setiap lapisan) dengan bentuk `(batch_size, sequence_length, hidden_size)`.

  Hidden-states dari encoder pada output setiap layer ditambah output embedding awal.
- **encoder_attentions** (`tuple(torch.Tensor)`, *opsional*, dikembalikan ketika `output_attentions=True` dilewatkan atau ketika `config.output_attentions=True`) -- Tuple dari `torch.Tensor` (satu untuk setiap layer) dengan bentuk `(batch_size, num_heads, sequence_length, sequence_length)`.

  Bobot perhatian dari encoder, setelah softmax perhatian, yang digunakan untuk menghitung rata-rata berbobot di kepala self-attention.

Contoh:

```python
>>> from transformers import SpeechT5Processor, SpeechT5ForTextToSpeech, SpeechT5HifiGan, set_seed
>>> import torch

>>> processor = SpeechT5Processor.from_pretrained("microsoft/speecht5_tts")
>>> model = SpeechT5ForTextToSpeech.from_pretrained("microsoft/speecht5_tts")
>>> vocoder = SpeechT5HifiGan.from_pretrained("microsoft/speecht5_hifigan")

>>> inputs = processor(text="Hello, my dog is cute", return_tensors="pt")
>>> speaker_embeddings = torch.zeros((1, 512))  # or load xvectors from a file

>>> set_seed(555)  # make deterministic

>>> # generate speech
>>> speech = model.generate(inputs["input_ids"], speaker_embeddings=speaker_embeddings, vocoder=vocoder)
>>> speech.shape
torch.Size([15872])
```

#### generate[[transformers.SpeechT5ForTextToSpeech.generate]]

```python
generate(input_ids: LongTensor, attention_mask: typing.Optional[torch.LongTensor] = None, speaker_embeddings: typing.Optional[torch.Tensor] = None, threshold: float = 0.5, minlenratio: float = 0.0, maxlenratio: float = 20.0, vocoder: typing.Optional[torch.nn.Module] = None, output_cross_attentions: bool = False, return_output_lengths: bool = False, **kwargs)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/modeling_speecht5.py#L2464)

**Parameter:**

input_ids (`torch.LongTensor` dengan bentuk `(batch_size, sequence_length)`) : Indeks token dari urutan input dalam kosakata. Indeks dapat diperoleh menggunakan [SpeechT5Tokenizer](/docs/transformers/v5.23.0/id/model_doc/speecht5#transformers.SpeechT5Tokenizer). Lihat [encode()](/docs/transformers/v5.23.0/id/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) dan [__call__()](/docs/transformers/v5.23.0/id/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) untuk detailnya. [Apa itu input IDs?](../glossary#input-ids)

attention_mask (`torch.LongTensor` dengan bentuk `(batch_size, sequence_length)`) : Attention mask dari tokenizer, diperlukan untuk inferensi batched untuk memberi sinyal ke model di mana token bantalan dari input_ids harus diabaikan.

speaker_embeddings (`torch.Tensor` dengan bentuk `(batch_size, config.speaker_embedding_dim)`, *opsional*) : Tensor yang berisi speaker embeddings.

threshold (`float`, *opsional*, default 0.5) : Urutan yang dihasilkan berakhir ketika probabilitas token stop yang diprediksi melebihi nilai ini.

minlenratio (`float`, *opsional*, default 0.0) : Digunakan untuk menghitung panjang minimum yang diperlukan untuk urutan output.

maxlenratio (`float`, *opsional*, default 20.0) : Digunakan untuk menghitung panjang maksimum yang diizinkan untuk urutan output.

vocoder (`nn.Module`, *opsional*) : Vocoder yang mengubah mel spectrogram menjadi waveform ucapan. Jika `None`, outputnya adalah mel spectrogram.

output_cross_attentions (`bool`, *opsional*, defaultnya `False`) : Apakah akan mengembalikan tensor perhatian dari lapisan cross-attention decoder atau tidak.

return_output_lengths (`bool`, *opsional*, defaultnya `False`) : Apakah akan mengembalikan panjang spekrogram/bentuk gelombang konkret atau tidak.

**Mengembalikan:** `tuple(torch.Tensor)` yang terdiri dari berbagai elemen tergantung pada input

- ketika `return_output_lengths` bernilai False
  - **spectrogram** (*opsional*, dikembalikan ketika tidak ada `vocoder` yang diberikan) `torch.Tensor` dengan bentuk `(output_sequence_length, config.num_mel_bins)` -- Spektragram log-mel yang diprediksi.
  - **waveform** (*opsional*, dikembalikan ketika `vocoder` disediakan) `torch.Tensor` dengan bentuk `(num_frames,)` -- Gelombang suara yang diprediksi.
  - **cross_attentions** (*opsional*, dikembalikan ketika `output_cross_attentions` bernilai `True`) `torch.Tensor` dengan bentuk `(config.decoder_layers, config.decoder_attention_heads, output_sequence_length, input_sequence_length)` -- Output dari lapisan cross-attention decoder.
- ketika `return_output_lengths` bernilai True
  - **spectrogram** (*opsional*, dikembalikan jika tidak ada `vocoder` yang diberikan) `torch.Tensor` dengan bentuk `(batch_size, output_sequence_length, config.num_mel_bins)` -- Spectrogram log-mel yang diprediksi dan di-pad hingga panjang maksimum.
  - **spectrogram_lengths** (*opsional*, dikembalikan ketika tidak ada `vocoder` yang diberikan) `list[Int]` -- Daftar semua panjang konkret untuk setiap spectrogram.
  - **gelombang suara** (*opsional*, dikembalikan ketika `vocoder` disediakan) `torch.Tensor` dengan bentuk `(batch_size, num_frames)` -- Gelombang suara ucapan yang diprediksi dan di-*pad* hingga panjang maksimum.
  - **waveform_lengths** (*opsional*, dikembalikan saat `vocoder` disediakan) `list[Int]` -- Daftar semua panjang konkret untuk setiap waveform.
  - **cross_attentions** (*opsional*, dikembalikan saat `output_cross_attentions` bernilai `True`) `torch.Tensor` dengan bentuk `(batch_size, config.decoder_layers, config.decoder_attention_heads, output_sequence_length, input_sequence_length)` -- Hasil keluaran dari lapisan cross-attention decoder.

Mengonversi urutan token input menjadi urutan spektrogram mel, yang kemudian diubah menjadi gelombang suara menggunakan voder.

## SpeechT5ForSpeechToSpeech[[transformers.SpeechT5ForSpeechToSpeech]]

#### transformers.SpeechT5ForSpeechToSpeech[[transformers.SpeechT5ForSpeechToSpeech]]

```python
transformers.SpeechT5ForSpeechToSpeech(config: SpeechT5Config)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/modeling_speecht5.py#L2658)

**Parameter:**

config ([SpeechT5Config](/docs/transformers/v5.23.0/id/model_doc/speecht5#transformers.SpeechT5Config)) : Kelas konfigurasi model dengan semua parameter model. Inisialisasi dengan file konfigurasi tidak memuat bobot yang terkait dengan model, hanya konfigurasinya. Lihat metode [from_pretrained()](/docs/transformers/v5.23.0/id/main_classes/model#transformers.PreTrainedModel.from_pretrained) untuk memuat bobot model.

Model SpeechT5 dengan encoder ucapan dan decoder ucapan.

Model ini mewarisi dari [PreTrainedModel](/docs/transformers/v5.23.0/id/main_classes/model#transformers.PreTrainedModel). Periksa dokumentasi kelas induk untuk metode generik yang diimplementasikan oleh pustaka ini untuk semua model (seperti mengunduh atau menyimpan, mengubah ukuran input embeddings, memangkas heads, dll.)

Model ini juga merupakan subclass dari [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) PyTorch. Gunakan sebagai PyTorch Module biasa dan merujuk ke dokumentasi PyTorch untuk semua hal yang berkaitan dengan penggunaan dan perilaku umum.

#### forward[[transformers.SpeechT5ForSpeechToSpeech.forward]]

```python
forward(input_values: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.LongTensor] = None, decoder_input_values: typing.Optional[torch.Tensor] = None, decoder_attention_mask: typing.Optional[torch.LongTensor] = None, encoder_outputs: tuple[tuple[torch.Tensor]] | None = None, past_key_values: transformers.cache_utils.Cache | None = None, use_cache: bool | None = None, output_attentions: bool | None = None, output_hidden_states: bool | None = None, return_dict: bool | None = None, speaker_embeddings: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.Tensor] = None, stop_labels: typing.Optional[torch.Tensor] = None, **kwargs)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/modeling_speecht5.py#L2678)

**Parameter:**

input_values (`torch.Tensor` dengan bentuk `(batch_size, sequence_length)`) : Nilai float dari waveform ucapan mentah input. Nilai dapat diperoleh dengan memuat file audio *.flac* atau *.wav* ke dalam array bertipe `list[float]`, `numpy.ndarray`, atau `torch.Tensor`, *misalnya* melalui pustaka torchcodec (`pip install torchcodec`) atau pustaka soundfile (`pip install soundfile`). Untuk menyiapkan array menjadi `input_values`, gunakan [SpeechT5Processor](/docs/transformers/v5.23.0/id/model_doc/speecht5#transformers.SpeechT5Processor) untuk padding dan konversi menjadi tensor bertipe `torch.Tensor`. Lihat [SpeechT5Processor.__call__()](/docs/transformers/v5.23.0/id/model_doc/speecht5#transformers.SpeechT5Processor.__call__) untuk detailnya.

attention_mask (`torch.LongTensor` dengan bentuk `(batch_size, sequence_length)`, *opsional*) : Mask untuk menghindari pelaksanaan attention pada indeks token padding. Nilai mask dipilih dalam `[0, 1]`:  - 1 untuk token yang **tidak di-mask**, - 0 untuk token yang **di-mask**.  [Apa itu attention masks?](../glossary#attention-mask)

decoder_input_values (`torch.Tensor` dengan bentuk `(batch_size, sequence_length, config.num_mel_bins)`) : Nilai float dari mel spectrogram input. SpeechT5 menggunakan spektrum semua-nol sebagai token awal untuk generasi `decoder_input_values`. Jika `past_key_values` digunakan, secara opsional hanya `decoder_input_values` terakhir yang perlu diinput (lihat `past_key_values`).

decoder_attention_mask (`torch.LongTensor` dengan bentuk `(batch_size, target_sequence_length)`, *opsional*) : Perilaku bawaan: menghasilkan tensor yang mengabaikan token pad di `decoder_input_values`. Causal mask juga akan digunakan secara bawaan. Jika Anda ingin mengubah perilaku padding, Anda harus membaca `SpeechT5Decoder._prepare_decoder_attention_mask` dan memodifikasinya sesuai kebutuhan Anda. Lihat diagram 1 di [makalah](https://huggingface.co/papers/1910.13461) untuk informasi lebih lanjut tentang strategi bawaan.

encoder_outputs (`tuple[tuple[torch.Tensor]]`, *opsional*) : Tuple terdiri dari (`last_hidden_state`, *opsional*: `hidden_states`, *opsional*: `attentions`) `last_hidden_state` dengan bentuk `(batch_size, sequence_length, hidden_size)`, *opsional*) adalah urutan hidden-states pada keluaran lapisan terakhir encoder. Digunakan dalam cross-attention decoder.

past_key_values (`~cache_utils.Cache`, *opsional*) : Hidden-states yang telah dihitung sebelumnya (key dan values di blok self-attention dan di blok cross-attention) yang dapat digunakan untuk mempercepat decoding berurutan. Ini biasanya terdiri dari `past_key_values` yang dikembalikan oleh model pada tahap decoding sebelumnya, ketika `use_cache=True` atau `config.use_cache=True`. Hanya instance [Cache](/docs/transformers/v5.23.0/id/internal/generation_utils#transformers.Cache) yang diizinkan sebagai input, lihat [panduan kv cache](https://huggingface.co/docs/transformers/en/kv_cache) kami. Jika tidak ada `past_key_values` yang diteruskan, [DynamicCache](/docs/transformers/v5.23.0/id/internal/generation_utils#transformers.DynamicCache) akan diinisialisasi secara default. Model akan mengoutput format cache yang sama dengan yang diberikan sebagai input. Jika `past_key_values` digunakan, pengguna diharapkan untuk hanya menginput `input_ids` yang belum diproses (yang tidak memiliki state past key value mereka diberikan ke model ini) dengan bentuk `(batch_size, unprocessed_length)` alih-alih semua `input_ids` dengan bentuk `(batch_size, sequence_length)`.

use_cache (`bool`, *opsional*) : Jika diatur ke `True`, state kunci-nilai `past_key_values` akan dikembalikan dan dapat digunakan untuk mempercepat decoding (lihat `past_key_values`).

output_attentions (`bool`, *opsional*) : Apakah akan mengembalikan tensor perhatian dari semua lapisan perhatian. Lihat `attentions` di bawah tensor yang dikembalikan untuk detail lebih lanjut.

output_hidden_states (`bool`, *opsional*) : Apakah akan mengembalikan hidden states dari semua lapisan. Lihat `hidden_states` di bawah tensor yang dikembalikan untuk detail lebih lanjut.

return_dict (`bool`, *opsional*) : Apakah akan mengembalikan [ModelOutput](/docs/transformers/v5.23.0/id/main_classes/output#transformers.utils.ModelOutput) alih-alih tuple biasa.

speaker_embeddings (`torch.Tensor` dengan bentuk `(batch_size, config.speaker_embedding_dim)`, *opsional*) : Tensor yang berisi speaker embeddings.

labels (`torch.Tensor` dengan bentuk `(batch_size, sequence_length, config.num_mel_bins)`, *opsional*) : Nilai float dari target mel spectrogram. Spectrogram dapat diperoleh menggunakan [SpeechT5Processor](/docs/transformers/v5.23.0/id/model_doc/speecht5#transformers.SpeechT5Processor). Lihat [SpeechT5Processor.__call__()](/docs/transformers/v5.23.0/id/model_doc/speecht5#transformers.SpeechT5Processor.__call__) untuk detailnya.

stop_labels (`torch.Tensor` dengan bentuk `(batch_size, sequence_length)`, *opsional*) : Tensor biner yang menunjukkan posisi token stop dalam urutan.

**Mengembalikan:** [Seq2SeqSpectrogramOutput](/docs/transformers/v5.23.0/id/main_classes/output#transformers.modeling_outputs.Seq2SeqSpectrogramOutput) atau `tuple(torch.Tensor)`

A [Seq2SeqSpectrogramOutput](/docs/transformers/v5.23.0/id/main_classes/output#transformers.modeling_outputs.Seq2SeqSpectrogramOutput) atau tuple dari `torch.Tensor` (jika `return_dict=False` dilewatkan atau ketika `config.return_dict=False`) yang terdiri dari berbagai elemen tergantung pada konfigurasi ([SpeechT5Config](/docs/transformers/v5.23.0/id/model_doc/speecht5#transformers.SpeechT5Config)) dan input.

Metode forward dari [SpeechT5ForSpeechToSpeech](/docs/transformers/v5.23.0/id/model_doc/speecht5#transformers.SpeechT5ForSpeechToSpeech) menimpa metode khusus `__call__`.

Meskipun resep untuk forward pass perlu didefinisikan di dalam fungsi ini, sebaiknya panggil instance `Module` setelahnya alih-alih fungsi ini, karena yang pertama menangani langkah-langkah pra-pemrosesan dan pasca-pemrosesan, sedangkan yang kedua mengabaikannya secara diam-diam.

- **loss** (`torch.Tensor` dengan bentuk `(1,)`, *opsional*, dikembalikan ketika `labels` disediakan) -- Loss untuk generasi spektrogram.
- **spectrogram** (`torch.Tensor` dengan bentuk `(batch_size, sequence_length, num_bins)`) -- Spektrogram yang diprediksi.
- **past_key_values** (`EncoderDecoderCache`, *opsional*, dikembalikan ketika `use_cache=True` diteruskan atau ketika `config.use_cache=True`) -- Ini adalah instance [EncoderDecoderCache](/docs/transformers/v5.23.0/id/internal/generation_utils#transformers.EncoderDecoderCache). Untuk detail lebih lanjut, lihat [panduan kv cache](https://huggingface.co/docs/transformers/en/kv_cache) kami.

  Berisi hidden-states yang telah dihitung sebelumnya (key dan values di blok self-attention dan di blok cross-attention) yang dapat digunakan (lihat input `past_key_values`) untuk mempercepat decoding berurutan.
- **decoder_hidden_states** (`tuple(torch.Tensor)`, *opsional*, dikembalikan saat `output_hidden_states=True` dilewatkan atau saat `config.output_hidden_states=True`) -- Tuple dari `torch.Tensor` (satu untuk output dari embeddings, jika model memiliki lapisan embedding, + satu untuk output dari setiap lapisan) dengan bentuk `(batch_size, sequence_length, hidden_size)`.

  Hidden-states dari decoder pada output setiap layer ditambah output embedding awal.
- **decoder_attentions** (`tuple(torch.Tensor)`, *opsional*, dikembalikan ketika `output_attentions=True` diteruskan atau ketika `config.output_attentions=True`) -- Tuple dari `torch.Tensor` (satu untuk setiap layer) dengan bentuk `(batch_size, num_heads, sequence_length, sequence_length)`.

  Bobot perhatian dari decoder, setelah softmax perhatian, yang digunakan untuk menghitung rata-rata berbobot di kepala self-attention.
- **cross_attentions** (`tuple(torch.Tensor)`, *opsional*, dikembalikan ketika `output_attentions=True` dilewatkan atau ketika `config.output_attentions=True`) -- Tuple dari `torch.Tensor` (satu untuk setiap layer) dengan bentuk `(batch_size, num_heads, sequence_length, sequence_length)`.

  Bobot perhatian dari lapisan cross-attention decoder, setelah softmax perhatian, yang digunakan untuk menghitung rata-rata berbobot di kepala cross-attention.
- **encoder_last_hidden_state** (`torch.Tensor` dengan bentuk `(batch_size, sequence_length, hidden_size)`, *opsional*) -- Urutan hidden-states pada keluaran lapisan terakhir dari encoder model.
- **encoder_hidden_states** (`tuple(torch.Tensor)`, *opsional*, dikembalikan ketika `output_hidden_states=True` diteruskan atau ketika `config.output_hidden_states=True`) -- Tuple dari `torch.Tensor` (satu untuk output dari embeddings, jika model memiliki lapisan embedding, + satu untuk output dari setiap lapisan) dengan bentuk `(batch_size, sequence_length, hidden_size)`.

  Hidden-states dari encoder pada output setiap layer ditambah output embedding awal.
- **encoder_attentions** (`tuple(torch.Tensor)`, *opsional*, dikembalikan ketika `output_attentions=True` dilewatkan atau ketika `config.output_attentions=True`) -- Tuple dari `torch.Tensor` (satu untuk setiap layer) dengan bentuk `(batch_size, num_heads, sequence_length, sequence_length)`.

  Bobot perhatian dari encoder, setelah softmax perhatian, yang digunakan untuk menghitung rata-rata berbobot di kepala self-attention.

Contoh:

```python
>>> from transformers import SpeechT5Processor, SpeechT5ForSpeechToSpeech, SpeechT5HifiGan, set_seed
>>> from datasets import load_dataset
>>> import torch

>>> dataset = load_dataset(
...     "hf-internal-testing/librispeech_asr_demo", "clean", split="validation"
... )  # doctest: +IGNORE_RESULT
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate

>>> processor = SpeechT5Processor.from_pretrained("microsoft/speecht5_vc")
>>> model = SpeechT5ForSpeechToSpeech.from_pretrained("microsoft/speecht5_vc")
>>> vocoder = SpeechT5HifiGan.from_pretrained("microsoft/speecht5_hifigan")

>>> # audio file is decoded on the fly
>>> inputs = processor(audio=dataset[0]["audio"]["array"], sampling_rate=sampling_rate, return_tensors="pt")

>>> speaker_embeddings = torch.zeros((1, 512))  # or load xvectors from a file

>>> set_seed(555)  # make deterministic

>>> # generate speech
>>> speech = model.generate_speech(inputs["input_values"], speaker_embeddings, vocoder=vocoder)
>>> speech.shape
torch.Size([77824])
```

#### generate_speech[[transformers.SpeechT5ForSpeechToSpeech.generate_speech]]

```python
generate_speech(input_values: Tensor, speaker_embeddings: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.LongTensor] = None, threshold: float = 0.5, minlenratio: float = 0.0, maxlenratio: float = 20.0, vocoder: typing.Optional[torch.nn.Module] = None, output_cross_attentions: bool = False, return_output_lengths: bool = False)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/modeling_speecht5.py#L2796)

**Parameter:**

input_values (`torch.Tensor` dengan bentuk `(batch_size, sequence_length)`) : Nilai float dari waveform ucapan mentah input. Nilai dapat diperoleh dengan memuat file audio *.flac* atau *.wav* ke dalam array bertipe `list[float]`, `numpy.ndarray` atau `torch.Tensor`, *misalnya* melalui pustaka torchcodec (`pip install torchcodec`) atau pustaka soundfile (`pip install soundfile`). Untuk menyiapkan array menjadi `input_values`, gunakan [SpeechT5Processor](/docs/transformers/v5.23.0/id/model_doc/speecht5#transformers.SpeechT5Processor) untuk padding dan konversi menjadi tensor bertipe `torch.Tensor`. Lihat [SpeechT5Processor.__call__()](/docs/transformers/v5.23.0/id/model_doc/speecht5#transformers.SpeechT5Processor.__call__) untuk detailnya.

speaker_embeddings (`torch.Tensor` dengan bentuk `(batch_size, config.speaker_embedding_dim)`, *opsional*) : Tensor yang berisi speaker embeddings.

attention_mask (`torch.LongTensor` dengan bentuk `(batch_size, sequence_length)`, *opsional*) : Mask untuk menghindari pelaksanaan convolution dan attention pada indeks token padding. Nilai mask dipilih dalam `[0, 1]`:  - 1 untuk token yang **tidak dimask**, - 0 untuk token yang **dimask**.  [Apa itu attention masks?](../glossary#attention-mask)

threshold (`float`, *opsional*, default 0.5) : Urutan yang dihasilkan berakhir ketika probabilitas token stop yang diprediksi melebihi nilai ini.

minlenratio (`float`, *opsional*, default 0.0) : Digunakan untuk menghitung panjang minimum yang diperlukan untuk urutan output.

maxlenratio (`float`, *opsional*, default 20.0) : Digunakan untuk menghitung panjang maksimum yang diizinkan untuk urutan output.

vocoder (`nn.Module`, *opsional*, defaultnya `None`) : Vocoder yang mengubah mel spectrogram menjadi waveform ucapan. Jika `None`, outputnya adalah mel spectrogram.

output_cross_attentions (`bool`, *opsional*, defaultnya `False`) : Apakah akan mengembalikan tensor perhatian dari lapisan cross-attention decoder atau tidak.

return_output_lengths (`bool`, *opsional*, defaultnya `False`) : Apakah akan mengembalikan panjang spekrogram/bentuk gelombang konkret atau tidak.

**Mengembalikan:** `tuple(torch.Tensor)` yang terdiri dari berbagai elemen tergantung pada input

- ketika `return_output_lengths` bernilai False
  - **spectrogram** (*opsional*, dikembalikan ketika tidak ada `vocoder` yang diberikan) `torch.Tensor` dengan bentuk `(output_sequence_length, config.num_mel_bins)` -- Spektragram log-mel yang diprediksi.
  - **waveform** (*opsional*, dikembalikan ketika `vocoder` disediakan) `torch.Tensor` dengan bentuk `(num_frames,)` -- Gelombang suara yang diprediksi.
  - **cross_attentions** (*opsional*, dikembalikan ketika `output_cross_attentions` bernilai `True`) `torch.Tensor` dengan bentuk `(config.decoder_layers, config.decoder_attention_heads, output_sequence_length, input_sequence_length)` -- Output dari lapisan cross-attention decoder.
- ketika `return_output_lengths` bernilai True
  - **spectrogram** (*opsional*, dikembalikan jika tidak ada `vocoder` yang diberikan) `torch.Tensor` dengan bentuk `(batch_size, output_sequence_length, config.num_mel_bins)` -- Spectrogram log-mel yang diprediksi dan di-pad hingga panjang maksimum.
  - **spectrogram_lengths** (*opsional*, dikembalikan ketika tidak ada `vocoder` yang diberikan) `list[Int]` -- Daftar semua panjang konkret untuk setiap spectrogram.
  - **gelombang suara** (*opsional*, dikembalikan ketika `vocoder` disediakan) `torch.Tensor` dengan bentuk `(batch_size, num_frames)` -- Gelombang suara ucapan yang diprediksi dan di-*pad* hingga panjang maksimum.
  - **waveform_lengths** (*opsional*, dikembalikan saat `vocoder` disediakan) `list[Int]` -- Daftar semua panjang konkret untuk setiap waveform.
  - **cross_attentions** (*opsional*, dikembalikan saat `output_cross_attentions` bernilai `True`) `torch.Tensor` dengan bentuk `(batch_size, config.decoder_layers, config.decoder_attention_heads, output_sequence_length, input_sequence_length)` -- Hasil keluaran dari lapisan cross-attention decoder.

Mengubah gelombang suara mentah menjadi rangkaian spektrogram mel, yang kemudian diubah kembali menjadi gelombang suara menggunakan voder.

## SpeechT5HifiGan[[transformers.SpeechT5HifiGan]]

#### transformers.SpeechT5HifiGan[[transformers.SpeechT5HifiGan]]

```python
transformers.SpeechT5HifiGan(config: SpeechT5HifiGanConfig)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/modeling_speecht5.py#L2954)

**Parameter:**

config ([SpeechT5HifiGanConfig](/docs/transformers/v5.23.0/id/model_doc/speecht5#transformers.SpeechT5HifiGanConfig)) : Kelas konfigurasi model dengan semua parameter model. Inisialisasi dengan file konfigurasi tidak memuat bobot yang terkait dengan model, hanya konfigurasinya. Lihat metode [from_pretrained()](/docs/transformers/v5.23.0/id/main_classes/model#transformers.PreTrainedModel.from_pretrained) untuk memuat bobot model.

Vocoder HiFi-GAN.

Model ini mewarisi dari [PreTrainedModel](/docs/transformers/v5.23.0/id/main_classes/model#transformers.PreTrainedModel). Periksa dokumentasi kelas induk untuk metode generik yang diimplementasikan oleh pustaka ini untuk semua model (seperti mengunduh atau menyimpan, mengubah ukuran input embeddings, memangkas heads, dll.)

Model ini juga merupakan subclass dari [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) PyTorch. Gunakan sebagai PyTorch Module biasa dan merujuk ke dokumentasi PyTorch untuk semua hal yang berkaitan dengan penggunaan dan perilaku umum.

#### forward[[transformers.SpeechT5HifiGan.forward]]

```python
forward(spectrogram: Tensor, **kwargs)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/speecht5/modeling_speecht5.py#L3022)

**Parameter:**

spectrogram (`torch.Tensor`) : Tensor yang berisi log-mel spectrograms. Dapat di-batch dengan bentuk `(batch_size, sequence_length, config.model_in_dim)`, atau tanpa batch dengan bentuk `(sequence_length, config.model_in_dim)`.

**Mengembalikan:** `torch.Tensor`

Tensor yang berisi waveform ucapan. Jika spektrogram input di-batch, bentuknya akan menjadi `(batch_size, num_frames,)`. Jika tidak di-batch, bentuknya akan menjadi `(num_frames,)`.

Mengonversi log-mel spectrogram menjadi waveform ucapan. Mengirimkan batch log-mel spectrogram mengembalikan batch waveform ucapan. Mengirimkan log-mel spectrogram tunggal, tanpa batch, mengembalikan waveform ucapan tunggal, tanpa batch.

