# PE Audio Video

[PE Audio Video](https://huggingface.co/papers/2504.13181) adalah cabang audio-video gabungan dari keluarga Perception Encoder milik Meta. Model ini mengkodekan aliran audio dan video secara bersama-sama dengan menara teks bersama, menghasilkan embedding kontras untuk setiap kombinasi pairwise, yaitu audio-teks, video-teks, audio-video, dan audio+teks-video, dari satu langkah forward pass.

Secara internal, model menyelaraskan urutan fitur video ke resolusi temporal audio melalui interpolasi tetangga terdekat, sehingga klip dengan frame rate yang berbeda dari sample rate tetap tersinkronisasi. Bobot encoder teks diikat di antara cabang audio dan video.

Anda dapat menemukan semua checkpoint resmi PE Audio Video di bawah koleksi [perception-encoder-audio-visual](https://huggingface.co/collections/facebook/perception-encoder-audio-visual).

## Mulai Cepat

```py
import torch
from datasets import load_dataset
from transformers import AutoProcessor, PeAudioVideoModel
from transformers.video_utils import load_video

processor = AutoProcessor.from_pretrained("facebook/pe-av-large")
model = PeAudioVideoModel.from_pretrained(
    "facebook/pe-av-large",
    device_map="auto",
)

ds = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
audio = ds[0]["audio"]["array"]
video, _ = load_video("https://huggingface.co/datasets/hf-internal-testing/fixtures_videos/resolve/main/tennis.mp4")
labels = ["a person playing tennis with background crowd", "a dog barking in a park"]

audio_inputs = processor.feature_extractor(audio, sampling_rate=48_000, return_tensors="pt").to(model.device)
video_inputs = processor.video_processor(video, num_frames=16, return_tensors="pt").to(model.device)
text_inputs = processor.tokenizer(labels, padding=True, return_tensors="pt").to(model.device)
inputs = {**audio_inputs, **video_inputs, **text_inputs}

with torch.no_grad():
    outputs = model(**inputs)

print("audio-text:", outputs.logits_audio_text.sigmoid().tolist())
print("video-text:", outputs.logits_video_text.sigmoid().tolist())
print("audio-video:", outputs.logits_audio_video.sigmoid().tolist())
```

## Tips dan catatan penggunaan

- [PeAudioVideoModel](/docs/transformers/v5.23.0/id/model_doc/pe_audio_video#transformers.PeAudioVideoModel) membutuhkan setidaknya dua dari `input_ids`, `input_values`, `pixel_values_videos` — jika hanya dua yang diberikan, model akan mengalihkan proses ke sub-model audio saja atau video saja. Menyerahkan ketiga parameter akan memicu jalur audio-video-teks gabungan dan seluruh set matriks logit di `PeAudioVideoOutput`.
- Audio menggunakan `padding_mask` dan video menggunakan `padding_mask_videos` secara bersamaan. Keduanya adalah mask yang independen; jangan mencampurkannya dengan `attention_mask`, yang khusus untuk menara teks.
- Penyelarasan audio–video berjalan per elemen batch di dalam `_align_video_hidden_state`, sehingga batch dengan panjang audio/video yang sangat berbeda akan diproses secara iteratif alih-alih divektorisasi. Jaga agar item dalam batch seimbang agar throughput tetap optimal.
- Bobot menara teks diikat di antara cabang melalui `_tied_weights_keys` — jangan mencoba memuat encoder teks terpisah untuk bagian audio dan video.

## PeAudioVideoConfig[[transformers.PeAudioVideoConfig]]

#### transformers.PeAudioVideoConfig[[transformers.PeAudioVideoConfig]]

```python
transformers.PeAudioVideoConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, text_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, audio_video_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, tie_word_embeddings: bool = True)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/pe_audio_video/configuration_pe_audio_video.py#L78)

**Parameter:**

text_config (`Union[dict, ~configuration_utils.PreTrainedConfig]`, *opsional*) : Objek config atau dictionary dari text backbone.

audio_video_config (`dict` atau `PreTrainedConfig`, *opsional*) : Konfigurasi untuk komponen encoder audio-video.

tie_word_embeddings (`bool`, *opsional*, defaultnya `True`) : Apakah mengikat embedding bobot sesuai dengan pemetaan `tied_weights_keys` model.

Ini adalah kelas konfigurasi untuk menyimpan konfigurasi dari PeAudioVideoModel. Kelas ini digunakan untuk membuat instans model Pe Audio Video sesuai dengan argumen yang ditentukan, yang mendefinisikan arsitektur model. Membuat instans konfigurasi dengan nilai bawaan akan menghasilkan konfigurasi yang serupa dengan konfigurasi dari [facebook/pe-av-large](https://huggingface.co/facebook/pe-av-large)

Objek konfigurasi mewarisi dari [PreTrainedConfig](/docs/transformers/v5.23.0/id/main_classes/configuration#transformers.PreTrainedConfig) dan dapat digunakan untuk mengontrol keluaran model. Baca dokumentasi dari [PreTrainedConfig](/docs/transformers/v5.23.0/id/main_classes/configuration#transformers.PreTrainedConfig) untuk informasi lebih lanjut.

```python
>>> from transformers import PeAudioVideoModel, PeAudioVideoConfig

>>> # Initializing a PeAudioVideoModel style configuration
>>> configuration = PeAudioVideoConfig()

>>> # Initializing a model from the pe-av-large style configuration
>>> model = PeAudioModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config
```

## PeAudioVideoEncoderConfig[[transformers.PeAudioVideoEncoderConfig]]

#### transformers.PeAudioVideoEncoderConfig[[transformers.PeAudioVideoEncoderConfig]]

```python
transformers.PeAudioVideoEncoderConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, audio_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, video_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, hidden_size: int = 1792, intermediate_size: int = 4800, num_hidden_layers: int = 6, num_attention_heads: int = 14, num_key_value_heads: int | None = None, head_dim: int = 128, hidden_act: str = 'silu', max_position_embeddings: int = 10000, initializer_range: float = 0.02, rms_norm_eps: float = 1e-05, rope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = None, attention_bias: bool = False, attention_dropout: float | int = 0.0)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/pe_audio_video/configuration_pe_audio_video.py#L26)

**Parameter:**

audio_config (`Union[dict, ~configuration_utils.PreTrainedConfig]`, *opsional*) : Objek config atau dictionary dari audio backbone.

video_config (`Union[PreTrainedConfig, dict]`, *opsional*) : Konfigurasi untuk video encoder. Jika dictionary diberikan, digunakan untuk menginstansiasi [PeVideoEncoderConfig](/docs/transformers/v5.23.0/id/model_doc/pe_video#transformers.PeVideoEncoderConfig).

hidden_size (`int`, *opsional*, defaultnya `1792`) : Dimensi dari representasi tersembunyi.

intermediate_size (`int`, *opsional*, defaultnya `4800`) : Dimensi dari representasi MLP.

num_hidden_layers (`int`, *opsional*, defaultnya `6`) : Jumlah lapisan tersembunyi dalam decoder Transformer.

num_attention_heads (`int`, *opsional*, defaultnya `14`) : Jumlah kepala perhatian untuk setiap lapisan perhatian dalam decoder Transformer.

num_key_value_heads (`int`, *opsional*) : Ini adalah jumlah key_value heads yang harus digunakan untuk mengimplementasikan Grouped Query Attention. Jika `num_key_value_heads=num_attention_heads`, model akan menggunakan Multi Head Attention (MHA), jika `num_key_value_heads=1` model akan menggunakan Multi Query Attention (MQA), selain itu GQA yang digunakan. Saat mengonversi checkpoint multi-head menjadi checkpoint GQA, setiap group key dan value head harus dibangun dengan meanpooling semua head asli di dalam grup tersebut. Untuk detail lebih lanjut, lihat [paper ini](https://huggingface.co/papers/2305.13245). Jika tidak ditentukan, akan default ke `num_attention_heads`.

head_dim (`int`, *opsional*, defaultnya `128`) : Dimensi kepala perhatian. Jika None, nilainya akan menjadi hidden_size // num_attention_heads

hidden_act (`str`, *opsional*, defaultnya `silu`) : Fungsi aktivasi non-linear (fungsi atau string) di decoder. Misalnya, `"gelu"`, `"relu"`, `"silu"`, dan sebagainya.

max_position_embeddings (`int`, *opsional*, defaultnya `10000`) : Panjang urutan maksimum yang mungkin digunakan oleh model ini.

initializer_range (`float`, *opsional*, defaultnya `0.02`) : Deviasi standar dari truncated_normal_initializer untuk menginisialisasi semua matriks bobot.

rms_norm_eps (`float`, *opsional*, defaultnya `1e-05`) : epsilon yang digunakan oleh lapisan normalisasi rms.

rope_parameters (`Union[~modeling_rope_utils.RopeParameters, dict]`, *opsional*) : Dictionary yang berisi parameter konfigurasi untuk embedding RoPE. Dictionary harus berisi nilai untuk `rope_theta` dan secara opsional parameter yang digunakan untuk scaling jika Anda ingin menggunakan RoPE dengan `max_position_embeddings` yang lebih panjang.

attention_bias (`bool`, *opsional*, defaultnya `False`) : Apakah akan menggunakan bias pada lapisan proyeksi query, key, value, dan output selama self-attention.

attention_dropout (`Union[float, int]`, *opsional*, defaultnya `0.0`) : Rasio dropout untuk probabilitas perhatian.

Ini adalah kelas konfigurasi untuk menyimpan konfigurasi dari PeAudioVideoModel. Kelas ini digunakan untuk membuat instans model Pe Audio Video sesuai dengan argumen yang ditentukan, yang mendefinisikan arsitektur model. Membuat instans konfigurasi dengan nilai bawaan akan menghasilkan konfigurasi yang serupa dengan konfigurasi dari [facebook/pe-av-large](https://huggingface.co/facebook/pe-av-large)

Objek konfigurasi mewarisi dari [PreTrainedConfig](/docs/transformers/v5.23.0/id/main_classes/configuration#transformers.PreTrainedConfig) dan dapat digunakan untuk mengontrol keluaran model. Baca dokumentasi dari [PreTrainedConfig](/docs/transformers/v5.23.0/id/main_classes/configuration#transformers.PreTrainedConfig) untuk informasi lebih lanjut.

```python
>>> from transformers import PeAudioVideoEncoder, PeAudioVideoEncoderConfig

>>> # Initializing a PeAudioVideoEncoder style configuration
>>> configuration = PeAudioVideoEncoderConfig()

>>> # Initializing a model from the pe-av-large style configuration
>>> model = PeAudioVideoEncoder(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config
```

## PeAudioVideoProcessor[[transformers.PeAudioVideoProcessor]]

#### transformers.PeAudioVideoProcessor[[transformers.PeAudioVideoProcessor]]

```python
transformers.PeAudioVideoProcessor(feature_extractor = None, video_processor = None, tokenizer = None, **kwargs)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/pe_audio_video/processing_pe_audio_video.py#L17)

## PeAudioVideoEncoder[[transformers.PeAudioVideoEncoder]]

#### transformers.PeAudioVideoEncoder[[transformers.PeAudioVideoEncoder]]

```python
transformers.PeAudioVideoEncoder(config: PeAudioVideoEncoderConfig)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/pe_audio_video/modeling_pe_audio_video.py#L554)

**Parameter:**

config ([PeAudioVideoEncoderConfig](/docs/transformers/v5.23.0/id/model_doc/pe_audio_video#transformers.PeAudioVideoEncoderConfig)) : Kelas konfigurasi model dengan semua parameter model. Inisialisasi dengan file konfigurasi tidak memuat bobot yang terkait dengan model, hanya konfigurasinya. Lihat metode [from_pretrained()](/docs/transformers/v5.23.0/id/main_classes/model#transformers.PreTrainedModel.from_pretrained) untuk memuat bobot model.

Model PeAudioVideo Encoder.

Model ini mewarisi dari [PreTrainedModel](/docs/transformers/v5.23.0/id/main_classes/model#transformers.PreTrainedModel). Periksa dokumentasi kelas induk untuk metode generik yang diimplementasikan oleh pustaka ini untuk semua model (seperti mengunduh atau menyimpan, mengubah ukuran input embeddings, memangkas heads, dll.)

Model ini juga merupakan subclass dari [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) PyTorch. Gunakan sebagai PyTorch Module biasa dan merujuk ke dokumentasi PyTorch untuk semua hal yang berkaitan dengan penggunaan dan perilaku umum.

#### forward[[transformers.PeAudioVideoEncoder.forward]]

```python
forward(input_values: typing.Optional[torch.Tensor] = None, pixel_values_videos: typing.Optional[torch.Tensor] = None, padding_mask: typing.Optional[torch.Tensor] = None, padding_mask_videos: typing.Optional[torch.Tensor] = None, **kwargs)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/pe_audio_video/modeling_pe_audio_video.py#L573)

**Parameter:**

input_values (`torch.Tensor` dengan bentuk `(batch_size, sequence_length)`, *opsional*) : Nilai float dari waveform ucapan mentah input. Nilai dapat diperoleh dengan memuat file audio `.flac` atau `.wav` ke dalam array bertipe `list[float]`, `numpy.ndarray` atau `torch.Tensor`, *misalnya* melalui pustaka torchcodec (`pip install torchcodec`) atau pustaka soundfile (`pip install soundfile`). Untuk menyiapkan array menjadi `input_values`, gunakan [AutoProcessor](/docs/transformers/v5.23.0/id/model_doc/auto#transformers.AutoProcessor) untuk padding dan konversi menjadi tensor bertipe `torch.Tensor`. Lihat [PeAudioVideoProcessor.__call__()](/docs/transformers/v5.23.0/id/main_classes/processors#transformers.ProcessorMixin.__call__) untuk detailnya.

pixel_values_videos (`torch.Tensor` dengan bentuk `(batch_size, num_frames, num_channels, frame_size, frame_size)`, *opsional*) : Tensor yang sesuai dengan video input. Nilai piksel untuk video dapat diperoleh menggunakan [PeVideoVideoProcessor](/docs/transformers/v5.23.0/id/model_doc/pe_video#transformers.PeVideoVideoProcessor). Lihat [PeVideoVideoProcessor.__call__()](/docs/transformers/v5.23.0/id/model_doc/molmo2#transformers.Molmo2VideoProcessor.__call__) untuk detailnya ([PeAudioVideoProcessor](/docs/transformers/v5.23.0/id/model_doc/pe_audio_video#transformers.PeAudioVideoProcessor) menggunakan [PeVideoVideoProcessor](/docs/transformers/v5.23.0/id/model_doc/pe_video#transformers.PeVideoVideoProcessor) untuk memproses video).

padding_mask (`torch.Tensor` dengan bentuk `(batch_size, sequence_length)`, *opsional*) : Mask untuk menghindari pelaksanaan attention pada sampel padding dari `input_values`. Nilai mask dipilih dalam `[0, 1]`: - 1 untuk sampel yang **tidak di-mask**, - 0 untuk sampel yang **di-mask**.

padding_mask_videos (`torch.Tensor` dengan bentuk `(batch_size, num_frames)`, *opsional*) : Mask untuk menghindari pelaksanaan perhatian pada bingkai video padding. Nilai mask dipilih dalam `[0, 1]`:  - 1 untuk bingkai yang **tidak dimask**, - 0 untuk bingkai yang **dimask**.

**Mengembalikan:** `PeAudioVideoEncoderOutput` atau `tuple(torch.Tensor)`

`PeAudioVideoEncoderOutput` atau tuple dari `torch.Tensor` (jika `return_dict=False` dilewatkan atau ketika `config.return_dict=False`) yang terdiri dari berbagai elemen tergantung pada konfigurasi ([PeAudioVideoConfig](/docs/transformers/v5.23.0/id/model_doc/pe_audio_video#transformers.PeAudioVideoConfig)) dan input.

Metode forward dari [PeAudioVideoEncoder](/docs/transformers/v5.23.0/id/model_doc/pe_audio_video#transformers.PeAudioVideoEncoder) menimpa metode khusus `__call__`.

Meskipun resep untuk forward pass perlu didefinisikan di dalam fungsi ini, sebaiknya panggil instance `Module` setelahnya alih-alih fungsi ini, karena yang pertama menangani langkah-langkah pra-pemrosesan dan pasca-pemrosesan, sedangkan yang kedua mengabaikannya secara diam-diam.

- **last_hidden_state** (`torch.Tensor` dengan bentuk `(batch_size, sequence_length, hidden_size)`) -- Urutan hidden-states pada keluaran lapisan terakhir model.
- **pooler_output** (`torch.Tensor` dengan bentuk `(batch_size, hidden_size)`) -- Hidden-state lapisan terakhir dari token pertama dalam urutan (token klasifikasi) setelah diproses lebih lanjut melalui lapisan yang digunakan untuk tugas pra-pelatihan tambahan. Misalnya, untuk keluarga model BERT, ini mengembalikan token klasifikasi setelah diproses melalui lapisan linear dan fungsi aktivasi tanh. Bobot lapisan linear dilatih dari tujuan prediksi kalimat berikutnya (klasifikasi) selama pra-pelatihan.
- **hidden_states** (`tuple(torch.Tensor)`, *opsional*, dikembalikan saat `output_hidden_states=True` dilewatkan atau saat `config.output_hidden_states=True`) -- Tuple dari `torch.Tensor` (satu untuk output dari embeddings, jika model memiliki lapisan embedding, + satu untuk output dari setiap lapisan) dengan bentuk `(batch_size, sequence_length, hidden_size)`.

  Hidden-states model pada output setiap layer ditambah output embedding awal yang opsional.
- **attentions** (`tuple(torch.Tensor)`, *opsional*, dikembalikan ketika `output_attentions=True` dilewatkan atau ketika `config.output_attentions=True`) -- Tuple dari `torch.Tensor` (satu untuk setiap layer) dengan bentuk `(batch_size, num_heads, sequence_length, sequence_length)`.

  Bobot perhatian setelah softmax perhatian, digunakan untuk menghitung rata-rata berbobot di kepala self-attention.
- **audio_model_output** (`BaseModelOutputWithPooling`, *opsional*) -- Output dari audio encoder, berisi last hidden state, pooled output, serta hidden states dan attentions opsional. Lihat [BaseModelOutputWithPooling](/docs/transformers/v5.23.0/id/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPooling) untuk detailnya.
- **video_model_output** (`BaseModelOutputWithPooling`, *opsional*) -- Output dari video encoder, berisi last hidden state, pooled output, serta hidden states dan attentions opsional. Lihat [BaseModelOutputWithPooling](/docs/transformers/v5.23.0/id/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPooling) untuk detailnya.

## PeAudioVideoModel[[transformers.PeAudioVideoModel]]

#### transformers.PeAudioVideoModel[[transformers.PeAudioVideoModel]]

```python
transformers.PeAudioVideoModel(config: PeAudioVideoConfig)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/pe_audio_video/modeling_pe_audio_video.py#L738)

#### forward[[transformers.PeAudioVideoModel.forward]]

```python
forward(input_ids: typing.Optional[torch.Tensor] = None, pixel_values_videos: typing.Optional[torch.Tensor] = None, input_values: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, padding_mask_videos: typing.Optional[torch.Tensor] = None, padding_mask: typing.Optional[torch.Tensor] = None, return_loss = False, **kwargs)
```

[Sumber](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/pe_audio_video/modeling_pe_audio_video.py#L879)

**Parameter:**

input_ids (`torch.Tensor` dengan bentuk `(batch_size, sequence_length)`, *opsional*) : Indeks token dari urutan input dalam kosakata. Padding akan diabaikan secara default. Indeks dapat diperoleh menggunakan [AutoTokenizer](/docs/transformers/v5.23.0/id/model_doc/auto#transformers.AutoTokenizer). Lihat [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/id/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) dan [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/id/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) untuk detailnya. [Apa itu input IDs?](../glossary#input-ids)

pixel_values_videos (`torch.Tensor` dengan bentuk `(batch_size, num_frames, num_channels, frame_size, frame_size)`, *opsional*) : Tensor yang sesuai dengan video input. Nilai piksel untuk video dapat diperoleh menggunakan [PeVideoVideoProcessor](/docs/transformers/v5.23.0/id/model_doc/pe_video#transformers.PeVideoVideoProcessor). Lihat [PeVideoVideoProcessor.__call__()](/docs/transformers/v5.23.0/id/model_doc/molmo2#transformers.Molmo2VideoProcessor.__call__) untuk detailnya ([PeAudioVideoProcessor](/docs/transformers/v5.23.0/id/model_doc/pe_audio_video#transformers.PeAudioVideoProcessor) menggunakan [PeVideoVideoProcessor](/docs/transformers/v5.23.0/id/model_doc/pe_video#transformers.PeVideoVideoProcessor) untuk memproses video).

input_values (`torch.Tensor` dengan bentuk `(batch_size, sequence_length)`, *opsional*) : Nilai float dari waveform ucapan mentah input. Nilai dapat diperoleh dengan memuat file audio `.flac` atau `.wav` ke dalam array bertipe `list[float]`, `numpy.ndarray` atau `torch.Tensor`, *misalnya* melalui pustaka torchcodec (`pip install torchcodec`) atau pustaka soundfile (`pip install soundfile`). Untuk menyiapkan array menjadi `input_values`, gunakan [AutoProcessor](/docs/transformers/v5.23.0/id/model_doc/auto#transformers.AutoProcessor) untuk padding dan konversi menjadi tensor bertipe `torch.Tensor`. Lihat [PeAudioVideoProcessor.__call__()](/docs/transformers/v5.23.0/id/main_classes/processors#transformers.ProcessorMixin.__call__) untuk detailnya.

attention_mask (`torch.Tensor` dengan bentuk `(batch_size, sequence_length)`, *opsional*) : Mask untuk menghindari pelaksanaan attention pada indeks token padding. Nilai mask dipilih dalam `[0, 1]`:  - 1 untuk token yang **tidak di-mask**, - 0 untuk token yang **di-mask**.  [Apa itu attention masks?](../glossary#attention-mask)

padding_mask_videos (`torch.Tensor` dengan bentuk `(batch_size, num_frames)`, *opsional*) : Mask untuk menghindari pelaksanaan perhatian pada bingkai video padding. Nilai mask dipilih dalam `[0, 1]`:  - 1 untuk bingkai yang **tidak dimask**, - 0 untuk bingkai yang **dimask**.

padding_mask (`torch.Tensor` dengan bentuk `(batch_size, sequence_length)`, *opsional*) : Mask untuk menghindari pelaksanaan attention pada sampel padding dari `input_values`. Nilai mask dipilih dalam `[0, 1]`: - 1 untuk sampel yang **tidak di-mask**, - 0 untuk sampel yang **di-mask**.

return_loss (`bool`, *opsional*) : Apakah akan mengembalikan loss atau tidak.

**Mengembalikan:** `PeAudioVideoOutput` atau `tuple(torch.Tensor)`

`PeAudioVideoOutput` atau tuple dari `torch.Tensor` (jika `return_dict=False` dilewatkan atau ketika `config.return_dict=False`) yang terdiri dari berbagai elemen tergantung pada konfigurasi ([PeAudioVideoConfig](/docs/transformers/v5.23.0/id/model_doc/pe_audio_video#transformers.PeAudioVideoConfig)) dan input.

Metode forward dari [PeAudioVideoModel](/docs/transformers/v5.23.0/id/model_doc/pe_audio_video#transformers.PeAudioVideoModel) menimpa metode khusus `__call__`.

Meskipun resep untuk forward pass perlu didefinisikan di dalam fungsi ini, sebaiknya panggil instance `Module` setelahnya alih-alih fungsi ini, karena yang pertama menangani langkah-langkah pra-pemrosesan dan pasca-pemrosesan, sedangkan yang kedua mengabaikannya secara diam-diam.

- **audio_embeds** (`torch.Tensor`, *opsional*) -- Embedding modalitas audio. Bentuk `(batch_size, sequence_length, hidden_size)`.
- **video_embeds** (`torch.Tensor`, *opsional*) -- Embedding modus video. Bentuk `(batch_size, sequence_length, hidden_size)`.
- **audio_video_embeds** (`torch.Tensor`, *opsional*) -- Embedding audio-video gabungan yang dihasilkan oleh modul fusi. Bentuk `(batch_size, sequence_length, hidden_size)`.
- **text_audio_embeds** (`torch.Tensor`, *opsional*) -- Embedding gabungan teks dan audio. Bentuk `(batch_size, sequence_length, hidden_size)`.
- **text_video_embeds** (`torch.Tensor`, *opsional*) -- Embedding teks-video gabungan. Bentuk `(batch_size, sequence_length, hidden_size)`.
- **text_audio_video_embeds** (`torch.Tensor`, *opsional*) -- Embedding gabungan teks-audio-video yang menggabungkan ketiga modalitas. Bentuk `(batch_size, sequence_length, hidden_size)`.
- **audio_plus_text_embeds** (`torch.Tensor`, *opsional*) -- Embedding audio dan teks yang digabungkan (misalnya, konkatenasi atau fusi aditif). Bentuk `(batch_size, sequence_length, hidden_size)`.
- **video_plus_text_embeds** (`torch.Tensor`, *opsional*) -- Embedding video dan teks yang digabungkan. Bentuk `(batch_size, sequence_length, hidden_size)`.
- **text_outputs** (`MaskedLMOutput`, *opsional*) -- Output model untuk encoder teks. Termasuk hidden states, attentions, dan secara opsional loss.
- **audio_outputs** (`BaseModelOutputWithPooling`, *opsional*) -- Output model untuk encoder audio, termasuk last hidden state dan pooled output.
- **video_outputs** (`BaseModelOutputWithPooling`, *opsional*) -- Output model untuk encoder video, termasuk last hidden state dan pooled output.
- **audio_video_outputs** (`BaseModelOutputWithPooling`, *opsional*) -- Output model untuk encoder audio-video gabungan.
- **logits_audio_text** (`torch.Tensor`, *opsional*) -- Logit kemiripan antara embedding audio dan teks. Bentuk `(batch_size, batch_size)`.
- **logits_video_text** (`torch.Tensor`, *opsional*) -- Logit kemiripan antara embedding video dan teks. Bentuk `(batch_size, batch_size)`.
- **logits_audio_video** (`torch.Tensor`, *opsional*) -- Logit kemiripan antara embedding audio dan video. Bentuk `(batch_size, batch_size)`.
- **logits_audio_video_text** (`torch.Tensor`, *opsional*) -- Logit kemiripan di antara modalitas audio, video, dan teks.
- **logits_audio_plus_text_video** (`torch.Tensor`, *opsional*) -- Logit kemiripan antara embedding yang digabungkan (audio + teks) dan embedding video.
- **logits_video_plus_text_audio** (`torch.Tensor`, *opsional*) -- Logit kemiripan antara embedding yang digabungkan (video + teks) dan embedding audio.
- **audio_text_loss** (`torch.Tensor`, *opsional*) -- Loss kontrastif yang dihitung antara representasi audio dan teks.
- **video_text_loss** (`torch.Tensor`, *opsional*) -- Loss kontrastif yang dihitung antara representasi video dan teks.
- **audio_video_loss** (`torch.Tensor`, *opsional*) -- Loss kontrastif yang dihitung antara representasi audio dan video.
- **audio_video_text_loss** (`torch.Tensor`, *opsional*) -- Loss gabungan atas modalitas audio, video, dan teks.
- **audio_plus_text_video_loss** (`torch.Tensor`, *opsional*) -- Loss antara representasi yang digabungkan (audio + teks) dan video.
- **video_plus_text_audio_loss** (`torch.Tensor`, *opsional*) -- Loss antara representasi yang digabungkan (video + teks) dan audio.
- **loss** (`torch.Tensor`, *opsional*) -- Total loss gabungan untuk semua loss per modalitas.

