# Процессоры

Мультимодальные модели требуют преобразователь, способный обрабатывать входные данные, сочетающие более одной модальности. В зависимости от входной модальности процессору необходимо преобразовать текст в массив тензоров, изображения — в пиксельные значения, а аудио — в массив тензоров с корректной частотой дискретизации.

Например, [PaliGemma](./model_doc/paligemma) — это мультимодальная модель, использующая процессор изображений [SigLIP](./model_doc/siglip) и токенизатор [Llama](./model_doc/llama). Класс [ProcessorMixin](/docs/transformers/v5.23.0/ru/main_classes/processors#transformers.ProcessorMixin) объединяет оба этих типа препроцессоров, предоставляя единый класс процессора для мультимодальной модели.

Вызовите [from_pretrained()](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2#transformers.Wav2Vec2Processor.from_pretrained), чтобы загрузить процессор. Передайте процессору тип входных данных, чтобы получить ожидаемые входные данные модели, идентификаторы входных токенов и пиксельные значения.

```py
from transformers import AutoProcessor, PaliGemmaForConditionalGeneration
from PIL import Image
import requests

processor = AutoProcessor.from_pretrained("google/paligemma-3b-pt-224")

prompt = "answer en Where is the cat standing?"
url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg"
image = Image.open(requests.get(url, stream=True).raw)

inputs = processor(text=prompt, images=image, return_tensors="pt")
inputs
```

В этом руководстве описан класс процессора и способы предобработки мультимодальных входных данных.

## Классы процессоров

All processors inherit from the [ProcessorMixin](/docs/transformers/v5.23.0/ru/main_classes/processors#transformers.ProcessorMixin) class which provides methods like [from_pretrained()](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2#transformers.Wav2Vec2Processor.from_pretrained), [save_pretrained()](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2#transformers.Wav2Vec2Processor.save_pretrained), and [push_to_hub()](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.utils.PushToHubMixin.push_to_hub) for loading, saving, and sharing processors to the Hub.

Существует два способа загрузить процессор: с помощью [AutoProcessor](/docs/transformers/v5.23.0/ru/model_doc/auto#transformers.AutoProcessor) и с помощью класса процессора, специфичного для конкретной модели.

API [AutoClass](./model_doc/auto) предоставляет простой интерфейс для загрузки процессоров без необходимости явно указывать конкретный класс модели, к которому они относятся.

Используйте [from_pretrained()](/docs/transformers/v5.23.0/ru/model_doc/auto#transformers.AutoProcessor.from_pretrained) для загрузки процессора.

```py
from transformers import AutoProcessor

processor = AutoProcessor.from_pretrained("google/paligemma-3b-pt-224")
```

Процессоры также связаны с конкретным классом предобученной мультимодальной модели. Вы можете загрузить процессор непосредственно из класса модели с помощью [from_pretrained()](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2#transformers.Wav2Vec2Processor.from_pretrained).

```py
from transformers import WhisperProcessor

processor = WhisperProcessor.from_pretrained("openai/whisper-tiny")
```

Вы также можете загрузить два типа преобразователей отдельно: [WhisperTokenizerFast](/docs/transformers/v5.23.0/ru/model_doc/whisper#transformers.WhisperTokenizer) и [WhisperFeatureExtractor](/docs/transformers/v5.23.0/ru/model_doc/whisper#transformers.WhisperFeatureExtractor).

```py
from transformers import WhisperTokenizerFast, WhisperFeatureExtractor, WhisperProcessor

tokenizer = WhisperTokenizerFast.from_pretrained("openai/whisper-tiny")
feature_extractor = WhisperFeatureExtractor.from_pretrained("openai/whisper-tiny")
processor = WhisperProcessor(feature_extractor=feature_extractor, tokenizer=tokenizer)
```

## Сохранение и загрузка процессора

[save_pretrained()](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2#transformers.Wav2Vec2Processor.save_pretrained) записывает конфигурацию процессора в один файл `processor_config.json`. Токенизатор и шаблон чата сохраняются в отдельных файлах.

```py
from transformers import AutoProcessor

processor = AutoProcessor.from_pretrained("llava-hf/llava-onevision-qwen2-0.5b-ov-hf")
processor.save_pretrained("./llava-onevision")
```

```text
llava-onevision/
├── chat_template.jinja
├── processor_config.json
├── tokenizer.json
└── tokenizer_config.json
```

Каждый субпроцессор, за исключением токенизатора, вложен в `processor_config.json` под именем своего атрибута, например `image_processor`, `video_processor` или `feature_extractor`. Настройки, относящиеся к самому процессору, такие как `image_token`, находятся на верхнем уровне. Пример ниже сокращён.

```json
{
  "image_processor": {
    "image_processor_type": "LlavaOnevisionImageProcessor",
    "do_resize": true,
    "size": {"height": 384, "width": 384},
    "image_mean": [0.5, 0.5, 0.5]
  },
  "image_token": "<image>",
  "processor_class": "LlavaOnevisionProcessor",
  "video_processor": {
    "video_processor_type": "LlavaOnevisionVideoProcessor",
    "do_resize": true,
    "size": {"height": 384, "width": 384},
    "image_mean": [0.5, 0.5, 0.5]
  },
  "video_token": "<video>"
}
```

Остальные файлы сохраняются отдельно.

- Токенизатор записывает свои стандартные файлы, такие как `tokenizer.json` и `tokenizer_config.json`. Если процессор имеет второй токенизатор, он сохраняется в подпапке, названной по имени его атрибута, например `decoder_tokenizer/`.
- Шаблон чата сохраняется в `chat_template.jinja`. Если у процессора несколько шаблонов чата, шаблон `default` помещается в `chat_template.jinja`, а остальные — в папку `chat_templates/`.

При загрузке процессора с помощью [from_pretrained()](/docs/transformers/v5.23.0/ru/model_doc/wav2vec2#transformers.Wav2Vec2Processor.from_pretrained) каждый субпроцессор сначала ищет свой вложенный ключ в `processor_config.json`. Если ключ отсутствует, используется отдельный файл. Обработчики изображений и извлекатели признаков читают `preprocessor_config.json`, а обработчики видео читают `video_preprocessor_config.json`, а затем `preprocessor_config.json`. Старые контрольные точки, в которых каждый субпроцессор хранится в собственном файле, по-прежнему загружаются таким образом.

> [!NOTE]
> Вложенная конфигурация имеет приоритет над отдельным файлом. Если в контрольной точке присутствуют оба варианта, редактирование `preprocessor_config.json` или `video_preprocessor_config.json` не даст результата. Вместо этого отредактируйте вложенный элемент в `processor_config.json`.

## Предобработка

Процессоры выполняют предобработку мультимодальных входных данных, приводя их к ожидаемому формату Transformers. Процессор может обрабатывать различные комбинации модальностей входных данных, например, текст и аудио или текст и изображение.

Задачи автоматического распознавания речи (ASR) требуют процессора, способного обрабатывать текстовые и аудиовходные данные. Загрузите набор данных и посмотрите на столбцы `audio` и `text` (остальные столбцы, которые не нужны, можно удалить).

```py
from datasets import load_dataset

dataset = load_dataset("keithito/lj_speech", split="train")
dataset = dataset.map(remove_columns=["file", "id", "normalized_text"])
dataset[0]["audio"]
{'array': array([-7.3242188e-04, -7.6293945e-04, -6.4086914e-04, ...,
         7.3242188e-04,  2.1362305e-04,  6.1035156e-05], dtype=float32),
 'path': '/root/.cache/huggingface/datasets/downloads/extracted/917ece08c95cf0c4115e45294e3cd0dee724a1165b7fc11798369308a465bd26/LJSpeech-1.1/wavs/LJ001-0001.wav',
 'sampling_rate': 22050}

dataset[0]["text"]
'Printing, in the only sense with which we are at present concerned, differs from most if not from all the arts and crafts represented in the Exhibition'
```

Не забудьте пересэмплировать частоту дискретизации, чтобы она соответствовала частоте дискретизации, требуемой предобученными моделями.

```py
from datasets import Audio

dataset = dataset.cast_column("audio", Audio(sampling_rate=16000))
```

Загрузите процессор и передайте ему столбцы `array` и `text`.

```py
from transformers import AutoProcessor

processor = AutoProcessor.from_pretrained("openai/whisper-tiny")

def prepare_dataset(example):
    audio = example["audio"]
    example.update(processor(audio=audio["array"], text=example["text"], sampling_rate=16000))
    return example
```

Примените функцию `prepare_dataset` для предобработки набора данных. Процессор возвращает `input_features` для столбца `audio` и `labels` для текстового столбца.

```py
prepare_dataset(dataset[0])
```

