Hugging Face's logo

Transformers documentation

OneFormer

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Эта модель была опубликована в HF papers 10.11.2022 и добавлена в Hugging Face Transformers 19.01.2023.

OneFormer

Обзор

Модель OneFormer была предложена в статье OneFormer: One Transformer to Rule Universal Image Segmentation авторами Jitesh Jain, Jiachen Li, MangTik Chiu, Ali Hassani, Nikita Orlov, Humphrey Shi. OneFormer — это универсальный фреймворк сегментации изображений, который может быть обучен на едином паноптическом наборе данных для выполнения задач семантической, инстантной и паноптической сегментации. OneFormer использует task token для настройки модели на текущую задачу, что делает архитектуру task-guided на этапе обучения и task-dynamic на этапе инференса.

Аннотация из статьи следующая:

Универсальная сегментация изображений — не новая концепция. Предыдущие попытки объединить сегментацию изображений за последние десятилетия включают анализ сцен, паноптическую сегментацию и, более recently, новые паноптические архитектуры. Однако такие паноптические архитектуры не являются по-настоящему универсальными, поскольку для достижения наилучших результатов их необходимо обучать отдельно на задачах семантической, инстантной или паноптической сегментации. В идеале по-настоящему универсальная система должна обучаться только один раз и достигать SOTA-результатов во всех трёх задачах сегментации изображений. В этой связи мы предлагаем OneFormer — универсальную систему сегментации изображений, которая объединяет сегментацию с многозадачным подходом «обучи один раз». Во-первых, мы предлагаем стратегию совместного обучения с учётом задачи, которая позволяет обучаться на эталонных данных каждой области (семантическая, инстантная и паноптическая сегментация) в рамках единого многозадачного процесса обучения. Во-вторых, мы вводим токен задачи для настройки модели на текущую задачу, что делает нашу модель динамичной по отношению к задаче и поддерживает многозадачное обучение и инференс. В-третьих, мы предлагаем использовать контрастный loss между запросами и текстом во время обучения для лучшего различения между задачами и классами. Примечательно, что наша единственная модель OneFormer превосходит специализированные модели Mask2Former во всех трёх задачах сегментации на ADE20k, CityScapes и COCO, несмотря на то, что последние обучались на каждой из трёх задач отдельно с использованием в три раза больших ресурсов. С новыми бэкбонами ConvNeXt и DiNAT мы наблюдаем ещё больший прирост производительности. Мы считаем, что OneFormer — значимый шаг к тому, чтобы сделать сегментацию изображений более универсальной и доступной.

На рисунке ниже представлена архитектура OneFormer. Источник — оригинальная статья.

Эта модель была предоставлена Jitesh Jain. Исходный код можно найти здесь.

Советы по использованию

  • OneFormer требует два входных параметра при инференсе: изображение и токен задачи.
  • Во время обучения OneFormer использует только паноптические аннотации.
  • Если вы хотите обучать модель в распределённой среде на нескольких узлах, необходимо обновить функцию get_num_masks внутри класса OneFormerLoss в файле modeling_oneformer.py. При обучении на нескольких узлах это значение должно быть установлено как среднее количество целевых масок по всем узлам, как показано в исходной реализации здесь.
  • Можно использовать OneFormerProcessor для подготовки входных изображений и входных данных задачи для модели, а также необязательных целевых значений. OneFormerProcessor объединяет OneFormerImageProcessor и CLIPTokenizer в единый экземпляр, чтобы одновременно подготовить изображения и закодировать входные данные задачи.
  • Чтобы получить итоговую сегментацию, в зависимости от задачи можно вызвать post_process_semantic_segmentation() или post_process_instance_segmentation() или post_process_panoptic_segmentation(). Все три задачи решаются с помощью вывода OneFormerForUniversalSegmentation; паноптическая сегментация принимает необязательный аргумент label_ids_to_fuse для объединения инстансов целевого объекта/объектов (например, неба).

Ресурсы

Список официальных ресурсов Hugging Face и сообщества (отмечены значком 🌎), которые помогут вам начать работу с OneFormer.

  • Демо-ноутбуки по инференсу и дообучению на собственных данных можно найти здесь.

Если вы хотите предложить ресурс для включения в этот раздел, пожалуйста, создайте Pull Request, и мы его рассмотрим. В идеале ресурс должен демонстрировать что-то новое, а не дублировать уже существующий.

Специфические для OneFormer выходные данные

класс transformers.models.oneformer.modeling_oneformer.OneFormerModelOutput

< >

( encoder_hidden_states: tuple[torch.Tensor] | None = Nonepixel_decoder_hidden_states: tuple[torch.Tensor] | None = Nonetransformer_decoder_hidden_states: typing.Optional[torch.Tensor] = Nonetransformer_decoder_object_queries: typing.Optional[torch.Tensor] = Nonetransformer_decoder_contrastive_queries: typing.Optional[torch.Tensor] = Nonetransformer_decoder_mask_predictions: typing.Optional[torch.Tensor] = Nonetransformer_decoder_class_predictions: typing.Optional[torch.Tensor] = Nonetransformer_decoder_auxiliary_predictions: tuple[dict[str, torch.Tensor]] | None = Nonetext_queries: typing.Optional[torch.Tensor] = Nonetask_token: typing.Optional[torch.Tensor] = Noneattentions: tuple[torch.Tensor] | None = None )

Параметры

  • encoder_hidden_states (tuple(torch.Tensor), необязательный, возвращается при передаче output_hidden_states=True или при config.output_hidden_states=True) — Кортеж torch.Tensor (один для вывода эмбеддингов + один для вывода каждого этапа) формы (batch_size, num_channels, height, width). Скрытые состояния (также называемые картами признаков) модели-кодировщика на выходе каждого этапа.
  • pixel_decoder_hidden_states (tuple(torch.Tensor), необязательный, возвращается при передаче output_hidden_states=True или при config.output_hidden_states=True) — Кортеж torch.Tensor (один для вывода эмбеддингов + один для вывода каждого этапа) формы (batch_size, num_channels, height, width). Скрытые состояния (также называемые картами признаков) модели пиксельного декодера на выходе каждого этапа.
  • transformer_decoder_hidden_states (tuple(torch.Tensor), необязательный, возвращается при передаче output_hidden_states=True или когда config.output_hidden_states=True) — Кортеж torch.Tensor (один для вывода эмбеддингов + один для вывода каждого этапа) формы (batch_size, sequence_length, hidden_size). Скрытые состояния (также называемые картами признаков) декодера трансформера на выходе каждого этапа.
  • transformer_decoder_object_queries (torch.Tensor формы (batch_size, num_queries, hidden_dim)) — Выходные object queries из последнего слоя декодера трансформера.
  • transformer_decoder_contrastive_queries (torch.Tensor формы (batch_size, num_queries, hidden_dim)) — Контрастные запросы из декодера трансформера.
  • transformer_decoder_mask_predictions (torch.Tensor формы (batch_size, num_queries, height, width)) — Прогнозы масок из последнего слоя декодера трансформера.
  • transformer_decoder_class_predictions (torch.Tensor формы (batch_size, num_queries, num_classes+1)) — Предсказания классов из последнего слоя декодера трансформера.
  • transformer_decoder_auxiliary_predictions (Tuple из Dict str, torch.Tensor, необязательный) — Кортеж предсказаний классов и масок от каждого слоя декодера трансформера.
  • text_queries (torch.Tensor, необязательный с формой (batch_size, num_queries, hidden_dim)) — Текстовые запросы, полученные из входного списка текста и используемые для вычисления контрастивной функции потерь во время обучения.
  • task_token (torch.Tensor формы (batch_size, hidden_dim)) — одномерный токен задачи для обусловливания запросов.
  • attentions (tuple(tuple(torch.Tensor)), необязательный, возвращается при передаче output_attentions=True или когда config.output_attentions=True) — Кортеж tuple(torch.Tensor) (по одному для каждого слоя) формы (batch_size, num_heads, sequence_length, sequence_length). Веса Self и Cross Attention из декодера трансформера.

Класс для выходов OneFormerModel. Этот класс возвращает все необходимые скрытые состояния для вычисления логитов.

класс transformers.models.oneformer.modeling_oneformer.OneFormerForUniversalSegmentationOutput

< >

( loss: typing.Optional[torch.Tensor] = Noneclass_queries_logits: typing.Optional[torch.Tensor] = Nonemasks_queries_logits: typing.Optional[torch.Tensor] = Noneauxiliary_predictions: list = Noneencoder_hidden_states: tuple[torch.Tensor] | None = Nonepixel_decoder_hidden_states: list[torch.Tensor] | None = Nonetransformer_decoder_hidden_states: typing.Optional[torch.Tensor] = Nonetransformer_decoder_object_queries: typing.Optional[torch.Tensor] = Nonetransformer_decoder_contrastive_queries: typing.Optional[torch.Tensor] = Nonetransformer_decoder_mask_predictions: typing.Optional[torch.Tensor] = Nonetransformer_decoder_class_predictions: typing.Optional[torch.Tensor] = Nonetransformer_decoder_auxiliary_predictions: list[dict[str, torch.Tensor]] | None = Nonetext_queries: typing.Optional[torch.Tensor] = Nonetask_token: typing.Optional[torch.Tensor] = Noneattentions: tuple[tuple[torch.Tensor]] | None = None )

Параметры

  • loss (torch.Tensor, необязательный) — Вычисленная величина потерь, возвращается при наличии меток.
  • class_queries_logits (torch.Tensor, необязательный) — Тензор формы (batch_size, num_queries, num_labels + 1), представляющий предложенные классы для каждого запроса. Обратите внимание, что + 1 необходимо, так как мы учитываем нулевой класс.
  • masks_queries_logits (torch.Tensor, необязательный) — Тензор формы (batch_size, num_queries, height, width), представляющий предложенные маски для каждого запроса.
  • auxiliary_predictions (List из Dict str, torch.Tensor, необязательный) — Список предсказаний классов и масок от каждого слоя декодера трансформера.
  • encoder_hidden_states (tuple(torch.Tensor), необязательный, возвращается при передаче output_hidden_states=True или при config.output_hidden_states=True) — Кортеж torch.Tensor (один для вывода эмбеддингов + один для вывода каждого этапа) формы (batch_size, num_channels, height, width). Скрытые состояния (также называемые картами признаков) модели-кодировщика на выходе каждого этапа.
  • pixel_decoder_hidden_states (tuple(torch.Tensor), необязательный, возвращается при передаче output_hidden_states=True или при config.output_hidden_states=True) — Кортеж torch.Tensor (один для вывода эмбеддингов + один для вывода каждого этапа) формы (batch_size, num_channels, height, width). Скрытые состояния (также называемые картами признаков) модели пиксельного декодера на выходе каждого этапа.
  • transformer_decoder_hidden_states (tuple(torch.Tensor), необязательный, возвращается при передаче output_hidden_states=True или когда config.output_hidden_states=True) — Кортеж torch.Tensor (один для вывода эмбеддингов + один для вывода каждого этапа) формы (batch_size, sequence_length, hidden_size). Скрытые состояния (также называемые картами признаков) декодера трансформера на выходе каждого этапа.
  • transformer_decoder_object_queries (torch.Tensor формы (batch_size, num_queries, hidden_dim)) — Выходные object queries из последнего слоя декодера трансформера.
  • transformer_decoder_contrastive_queries (torch.Tensor формы (batch_size, num_queries, hidden_dim)) — Контрастные запросы из декодера трансформера.
  • transformer_decoder_mask_predictions (torch.Tensor формы (batch_size, num_queries, height, width)) — Прогнозы масок из последнего слоя декодера трансформера.
  • transformer_decoder_class_predictions (torch.Tensor формы (batch_size, num_queries, num_classes+1)) — Предсказания классов из последнего слоя декодера трансформера.
  • transformer_decoder_auxiliary_predictions (List of Dict of str, torch.Tensor, необязательный) — Список предсказаний классов и масок от каждого слоя декодера трансформера.
  • text_queries (torch.Tensor, необязательный с формой (batch_size, num_queries, hidden_dim)) — Текстовые запросы, полученные из входного списка текста и используемые для вычисления контрастивной функции потерь во время обучения.
  • task_token (torch.Tensor формы (batch_size, hidden_dim)) — одномерный токен задачи для обусловливания запросов.
  • attentions (tuple(tuple(torch.Tensor)), необязательный, возвращается при передаче output_attentions=True или когда config.output_attentions=True) — Кортеж tuple(torch.Tensor) (по одному для каждого слоя) формы (batch_size, num_heads, sequence_length, sequence_length). Веса Self и Cross Attention из декодера трансформера.

Класс для результатов OneFormerForUniversalSegmentationOutput.

Этот вывод можно непосредственно передать в post_process_semantic_segmentation() или post_process_instance_segmentation() или post_process_panoptic_segmentation() в зависимости от задачи. Подробности об использовании см. в документации к [`~OneFormerImageProcessor].

OneFormerConfig

класс transformers.OneFormerConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonebackbone_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Noneignore_value: int = 255num_queries: int = 150no_object_weight: float = 0.1class_weight: float = 2.0mask_weight: float = 5.0dice_weight: float = 5.0contrastive_weight: float = 0.5contrastive_temperature: float = 0.07train_num_points: int = 12544oversample_ratio: float = 3.0importance_sample_ratio: float = 0.75init_std: float = 0.02init_xavier_std: float = 1.0layer_norm_eps: float = 1e-05is_training: bool = Falseuse_auxiliary_loss: bool = Trueoutput_auxiliary_logits: bool = Truestrides: list[int] | tuple[int, ...] = (4, 8, 16, 32)task_seq_len: int = 77text_encoder_width: int = 256text_encoder_context_length: int = 77text_encoder_num_layers: int = 6text_encoder_vocab_size: int = 49408text_encoder_proj_layers: int = 2text_encoder_n_ctx: int = 16conv_dim: int = 256mask_dim: int = 256hidden_dim: int = 256encoder_feedforward_dim: int = 1024norm: str = 'GN'encoder_layers: int = 6decoder_layers: int = 10use_task_norm: bool = Truenum_attention_heads: int = 8dropout: float | int = 0.1dim_feedforward: int = 2048pre_norm: bool = Falseenforce_input_proj: bool = Falsequery_dec_layers: int = 2common_stride: int = 4 )

Параметры

  • backbone_config (Union[dict, ~configuration_utils.PreTrainedConfig], необязательный) — Конфигурация модели-бэкбона.
  • ignore_value (int, необязательный, по умолчанию 255) — Значения, которые игнорируются в метках GT при вычислении функции потерь.
  • num_queries (int, необязательный, по умолчанию 150) — Количество запросов объектов.
  • no_object_weight (float, необязательный, по умолчанию 0.1) — Относительный вес класса «объект отсутствует» в функции потерь обнаружения объектов.
  • class_weight (float, необязательный, по умолчанию 2.0) — Относительный вес ошибки классификации в стоимости венгерского сопоставления.
  • mask_weight (float, необязательный, по умолчанию 5.0) — Относительный вес фокальной функции потерь в функции потерь паноптической сегментации.
  • dice_weight (float, необязательный, по умолчанию 5.0) — Относительный вес функции потерь dice в функции потерь паноптической сегментации.
  • contrastive_weight (float, необязательный, по умолчанию 0.5) — Вес для контрастивной функции потерь.
  • contrastive_temperature (float, необязательный, по умолчанию 0.07) — Начальное значение для масштабирования контрастных логитов.
  • train_num_points (int, необязательный, по умолчанию 12544) — Количество точек, отбираемых при вычислении потерь на предсказаниях маски.
  • oversample_ratio (float, необязательный, по умолчанию 3.0) — Коэффициент, определяющий, сколько точек нужно оверсэмплировать.
  • importance_sample_ratio (float, необязательный, по умолчанию 0.75) — Доля точек, выборка которых выполняется методом importance sampling.
  • init_std (float, необязательный, по умолчанию 0.02) — Стандартное отклонение truncated_normal_initializer для инициализации всех матриц весов.
  • init_xavier_std (float, необязательный, по умолчанию 1.0) — Коэффициент масштабирования, используемый для инициализации кросс-внимания по методу Ксавье.
  • layer_norm_eps (float, необязательный, по умолчанию 1e-05) — Значение epsilon, используемое слоями нормализации.
  • is_training (bool, необязательный, по умолчанию False) — Указывает, следует ли работать в режиме обучения или инференса.
  • use_auxiliary_loss (bool, необязательный, по умолчанию True) — Определяет, следует ли вычислять потерю с использованием промежуточных предсказаний декодера transformer.
  • output_auxiliary_logits (bool, необязательный, по умолчанию True) — Возвращать ли промежуточные предсказания из декодера трансформера.
  • strides (list, необязательный, по умолчанию [4, 8, 16, 32]) — Список, содержащий значения шагов (strides) для карт признаков в энкодере.
  • task_seq_len (int, необязательный, по умолчанию 77) — Длина последовательности для токенизации входного списка текста.
  • text_encoder_width (int, необязательный, по умолчанию 256) — Размер скрытого слоя текстового энкодера.
  • text_encoder_context_length (int, необязательный, по умолчанию 77) — Длина входной последовательности для текстового энкодера.
  • text_encoder_num_layers (int, необязательный, по умолчанию 6) — Количество слоев трансформера в текстовом кодировщике.
  • text_encoder_vocab_size (int, необязательный, по умолчанию 49408) — Размер словаря для токенизатора.
  • text_encoder_proj_layers (int, необязательный, по умолчанию 2) — Количество слоев в MLP для проекции текстовых запросов.
  • text_encoder_n_ctx (int, необязательный, по умолчанию 16) — Количество обучаемых запросов текстового контекста.
  • conv_dim (int, необязательный, по умолчанию 256) — Размерность карты признаков для отображения выходов из backbone.
  • mask_dim (int, необязательный, по умолчанию 256) — Размерность для карт признаков в пиксельном декодере.
  • hidden_dim (int, необязательный, по умолчанию 256) — Размерность скрытых состояний в декодере трансформера.
  • encoder_feedforward_dim (int, необязательный, по умолчанию 1024) — Размерность слоя FFN в пиксельном декодере.
  • norm (str, необязательный, по умолчанию "GN") — Тип нормализации.
  • encoder_layers (int, необязательный, по умолчанию 6) — Количество скрытых слоев в кодере Transformer. Если не задано, используется то же значение, что и у num_layers.
  • decoder_layers (int, необязательный, по умолчанию 10) — Количество скрытых слоев в декодере Transformer. Если не задано, используется то же значение, что и у num_layers.
  • use_task_norm (bool, необязательный, по умолчанию True) — Определяет, нормализовать ли токен задачи.
  • num_attention_heads (int, необязательный, по умолчанию 8) — Количество головок внимания в каждом слое внимания декодера Transformer.
  • dropout (Union[float, int], необязательный, по умолчанию 0.1) — Коэффициент для всех слоёв dropout.
  • dim_feedforward (int, необязательный, по умолчанию 2048) — Размерность слоя FFN в декодере трансформера.
  • pre_norm (bool, необязательный, по умолчанию False) — Определяет, нормализовать ли скрытые состояния перед слоями внимания в декодере трансформера.
  • enforce_input_proj (bool, необязательный, по умолчанию False) — Определяет, следует ли проецировать скрытые состояния в декодере трансформера.
  • query_dec_layers (int, необязательный, по умолчанию 2) — Количество слоёв в query-трансформере.
  • common_stride (int, необязательный, по умолчанию 4) — Общий шаг, используемый для признаков в пиксельном декодере.

Это класс конфигурации для хранения конфигурации модели OneFormerModel. Он используется для создания модели Oneformer в соответствии с указанными аргументами, определяя архитектуру модели. Создание конфигурации с параметрами по умолчанию даст конфигурацию, аналогичную конфигурации shi-labs/oneformer_ade20k_swin_tiny

Объекты конфигурации наследуются от PreTrainedConfig и могут использоваться для управления выводами модели. Подробнее читайте в документации PreTrainedConfig.

Примеры:

>>> from transformers import OneFormerConfig, OneFormerModel

>>> # Initializing a OneFormer shi-labs/oneformer_ade20k_swin_tiny configuration
>>> configuration = OneFormerConfig()
>>> # Initializing a model (with random weights) from the shi-labs/oneformer_ade20k_swin_tiny style configuration
>>> model = OneFormerModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.config

OneFormerImageProcessor

класс transformers.OneFormerImageProcessor

< >

( **kwargs: *<class 'transformers.models.oneformer.image_processing_oneformer.OneFormerImageProcessorKwargs'> )

Параметры

  • do_convert_rgb (bool, kwargs, optional, по умолчанию True) — Следует ли преобразовать изображение в RGB.
  • do_resize (bool, kwargs, optional, по умолчанию True) — Указывает, нужно ли изменять размер изображения.
  • size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs, по умолчанию {'shortest_edge' -- 800, 'longest_edge': 1333}): Определяет максимальные размеры входных данных для модели.
  • default_to_square (bool, kwargs, optional, по умолчанию False) — Определяет, следует ли по умолчанию использовать квадратное изображение при изменении размера, если size задано как int.
  • crop_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Размер выходного изображения после применения center_crop.
  • resample (Annotated[Union[int, PILImageResampling, NoneType], None], kwargs, по умолчанию 2) — Фильтр ресемплинга, используемый при изменении размера изображения. Может быть одним из значений перечисления PILImageResampling. Влияет только в том случае, если do_resize установлено в True.
  • do_rescale (bool, kwargs, optional, по умолчанию True) — Указывает, следует ли выполнять рескейлинг изображения.
  • rescale_factor (float, kwargs, optional, по умолчанию 0.00392156862745098) — Коэффициент масштабирования, применяемый к изображению, если do_rescale установлен в True.
  • do_normalize (bool, kwargs, optional, по умолчанию True) — Указывает, следует ли нормализовать изображение.
  • image_mean (Union[float, list[float], tuple[float, ...]], kwargs, optional, по умолчанию [0.485, 0.456, 0.406]) — Среднее значение изображения, используемое для нормализации. Влияет только в том случае, если do_normalize установлено в True.
  • image_std (Union[float, list[float], tuple[float, ...]], kwargs, optional, по умолчанию [0.229, 0.224, 0.225]) — Стандартное отклонение изображения, используемое для нормализации. Влияет только в том случае, если do_normalize установлено в True.
  • do_pad (bool, kwargs, optional) — Определяет, нужно ли выравнивать изображение. Выравнивание выполняется либо до максимального размера в батче, либо до фиксированного квадратного размера для каждого изображения. Точная стратегия выравнивания зависит от модели.
  • pad_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Размер в формате {"height": int, "width" int}, до которого следует дополнить изображения. Должен быть больше любого размера изображения, предоставленного для предобработки. Если pad_size не указан, изображения будут дополнены до наибольшей высоты и ширины в батче. Применяется только при do_pad=True.
  • do_center_crop (bool, kwargs, optional) — Выполнять ли центрированную обрезку изображения.
  • data_format (Union[str, ~image_utils.ChannelDimension], kwargs, optional) — Поддерживается только ChannelDimension.FIRST. Добавлено для совместимости с медленными процессорами.
  • input_data_format (Union[str, ~image_utils.ChannelDimension], kwargs, необязательный) — Формат размерности каналов для входного изображения. Если не задан, формат размерности каналов выводится из входного изображения. Может быть одним из:
    • "channels_first" или ChannelDimension.FIRST: изображение в формате (num_channels, height, width).
    • "channels_last" или ChannelDimension.LAST: изображение в формате (высота, ширина, число каналов).
    • "none" или ChannelDimension.NONE: изображение в формате (height, width).
  • device (Annotated[Union[str, torch.device, NoneType], None], kwargs) — Устройство, на котором будут обрабатываться видео. Если не задано, устройство определяется на основе входных видео.
  • return_tensors (Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — Возвращает стопку тензоров, если установлено значение 'pt', иначе возвращает список тензоров.
  • disable_grouping (bool, kwargs, optional) — Определяет, следует ли отключить группировку изображений по размеру для их индивидуальной обработки, а не пачками. Если значение равно None, оно будет установлено в True, если изображения находятся на CPU, и в False в противном случае. Этот выбор основан на эмпирических наблюдениях, описанных здесь: https://github.com/huggingface/transformers/pull/38157
  • image_seq_length (int, kwargs, optional) — Количество токенов изображения, используемых для каждого изображения во входных данных. Добавлено для обратной совместимости, но в будущих моделях это значение следует задавать как атрибут процессора.
  • repo_path (str, kwargs, optional, по умолчанию shi-labs/oneformer_demo) — Путь к локальному каталогу или репозиторию HuggingFace Hub, содержащему метаданные модели.
  • class_info_file (str, kwargs, optional) — Путь к JSON-файлу в репозитории, содержащему метаданные класса.
  • num_text (int, kwargs, optional) — Количество текстовых запросов для текстового энкодера, используемых в качестве промптов, задающих задачу.
  • num_labels (int, kwargs, optional) — Количество семантических классов для сегментации, определяющее размер выходного слоя.
  • ignore_index (int, kwargs, optional) — Метка, которую следует игнорировать в сегментационных картах; часто используется для отступов (padding).
  • do_reduce_labels (bool, kwargs, optional, по умолчанию False) — Указывает, следует ли уменьшить все значения меток на 1, чтобы сопоставить фоновый класс с ignore_index.

Создаёт процессор изображений OneFormerImageProcessor.

preprocess

< >

( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']]task_inputs: list[str] | None = Nonesegmentation_maps: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor'], NoneType] = Noneinstance_id_to_semantic_id: list[dict[int, int]] | dict[int, int] | None = None**kwargs: *<class 'transformers.models.oneformer.image_processing_oneformer.OneFormerImageProcessorKwargs'> ) → ~image_processing_base.BatchFeature

Параметры

  • images (Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]) — Изображение для предобработки. Ожидается одно изображение или батч изображений со значениями пикселей в диапазоне от 0 до 255. Если передаются изображения со значениями пикселей в диапазоне от 0 до 1, установите do_rescale=False.
  • task_inputs (list[str], необязательный) — Список задач ("panoptic", "instance", "semantic") для каждого изображения в батче.
  • segmentation_maps (ImageInput, необязательный) — Сегментационные карты.
  • instance_id_to_semantic_id (Union[list[dict[int, int]], dict[int, int]], необязательный) — Сопоставление идентификаторов экземпляров с семантическими идентификаторами.
  • do_convert_rgb (bool, kwargs, optional) — Следует ли преобразовать изображение в RGB.
  • do_resize (bool, kwargs, optional) — Указывает, нужно ли изменить размер изображения.
  • size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Описывает максимальные размеры входных данных для модели.
  • default_to_square (bool, kwargs, optional) — Определяет, следует ли по умолчанию использовать квадратное изображение при изменении размера, если size является целым числом.
  • crop_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Размер выходного изображения после применения center_crop.
  • resample (Annotated[Union[int, PILImageResampling, NoneType], None], kwargs) — Фильтр ресемплинга, используемый при изменении размера изображения. Может быть одним из значений перечисления PILImageResampling. Влияет только в том случае, если do_resize установлено в True.
  • do_rescale (bool, kwargs, optional) — Нужно ли перемасштабировать изображение.
  • rescale_factor (float, kwargs, optional) — Коэффициент масштабирования, применяемый к изображению, если do_rescale установлен в True.
  • do_normalize (bool, kwargs, optional) — Нужно ли нормализовать изображение.
  • image_mean (Union[float, list[float], tuple[float, ...]], kwargs, optional) — Среднее значение изображения, используемое для нормализации. Влияет только в том случае, если do_normalize установлено в True.
  • image_std (Union[float, list[float], tuple[float, ...]], kwargs, optional) — Стандартное отклонение изображения, используемое для нормализации. Влияет только в том случае, если do_normalize установлено в True.
  • do_pad (bool, kwargs, optional) — Определяет, нужно ли выравнивать изображение. Выравнивание выполняется либо до максимального размера в батче, либо до фиксированного квадратного размера для каждого изображения. Точная стратегия выравнивания зависит от модели.
  • pad_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Размер в формате {"height": int, "width" int}, до которого следует дополнить изображения. Должен быть больше любого размера изображения, предоставленного для предобработки. Если pad_size не указан, изображения будут дополнены до наибольшей высоты и ширины в батче. Применяется только при do_pad=True.
  • do_center_crop (bool, kwargs, optional) — Выполнять ли центрированную обрезку изображения.
  • data_format (Union[str, ~image_utils.ChannelDimension], kwargs, optional) — Поддерживается только ChannelDimension.FIRST. Добавлено для совместимости с медленными процессорами.
  • input_data_format (Union[str, ~image_utils.ChannelDimension], kwargs, необязательный) — Формат размерности каналов для входного изображения. Если не задан, формат размерности каналов выводится из входного изображения. Может быть одним из:
    • "channels_first" или ChannelDimension.FIRST: изображение в формате (num_channels, height, width).
    • "channels_last" или ChannelDimension.LAST: изображение в формате (высота, ширина, число каналов).
    • "none" или ChannelDimension.NONE: изображение в формате (height, width).
  • device (Annotated[Union[str, torch.device, NoneType], None], kwargs) — Устройство, на котором будут обрабатываться видео. Если не задано, устройство определяется на основе входных видео.
  • return_tensors (Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — Возвращает стопку тензоров, если установлено значение 'pt', иначе возвращает список тензоров.
  • disable_grouping (bool, kwargs, optional) — Определяет, следует ли отключить группировку изображений по размеру для их индивидуальной обработки, а не пачками. Если значение равно None, оно будет установлено в True, если изображения находятся на CPU, и в False в противном случае. Этот выбор основан на эмпирических наблюдениях, описанных здесь: https://github.com/huggingface/transformers/pull/38157
  • image_seq_length (int, kwargs, optional) — Количество токенов изображения, используемых для каждого изображения во входных данных. Добавлено для обратной совместимости, но в будущих моделях это значение следует задавать как атрибут процессора.
  • repo_path (str, kwargs, optional, по умолчанию shi-labs/oneformer_demo) — Путь к локальному каталогу или репозиторию HuggingFace Hub, содержащему метаданные модели.
  • class_info_file (str, kwargs, optional) — Путь к JSON-файлу в репозитории, содержащему метаданные класса.
  • num_text (int, kwargs, optional) — Количество текстовых запросов для текстового энкодера, используемых в качестве промптов, задающих задачу.
  • num_labels (int, kwargs, optional) — Количество семантических классов для сегментации, определяющее размер выходного слоя.
  • ignore_index (int, kwargs, optional) — Метка, которую следует игнорировать в сегментационных картах; часто используется для отступов (padding).
  • do_reduce_labels (bool, kwargs, optional, по умолчанию False) — Указывает, следует ли уменьшить все значения меток на 1, чтобы сопоставить фоновый класс с ignore_index.

Возвращает

~image_processing_base.BatchFeature

  • data (dict) — Словарь списков/массивов/тензоров, возвращаемый методом call (‘pixel_values’ и т. д.).
  • tensor_type (Union[None, str, TensorType], необязательный) — Здесь можно указать tensor_type, чтобы при инициализации преобразовать списки целых чисел в тензоры PyTorch/Numpy.

post_process_semantic_segmentation

< >

( outputstarget_sizes: list[tuple[int, int]] | None = Nonereturn_segmentation_scores: bool = False ) → list[torch.Tensor] or list[SemanticSegmentationPostProcessorOutput]

Параметры

  • outputs (OneFormerForUniversalSegmentation) — Сырые выходные данные модели.
  • target_sizes (list[tuple[int, int]], необязательный) — Список длины (batch_size), где каждый элемент списка (Tuple[int, int]]) соответствует запрашиваемому итоговому размеру (высота, ширина) каждого предсказания. Если значение не задано, предсказания не будут изменены в размере.
  • return_segmentation_scores (bool, необязательный, по умолчанию False) — Определяет, следует ли возвращать оценки сегментации вместе с картой сегментации. Если True, каждый элемент возвращаемого списка представляет собой SemanticSegmentationPostProcessorOutput с полями segmentation (идентификаторы классов, форма (height, width)) и segmentation_scores (форма (num_classes, height, width)).

Возвращает

list[torch.Tensor] или list[SemanticSegmentationPostProcessorOutput]

Если return_segmentation_scores=False (по умолчанию), возвращается список длины batch_size, где каждый элемент — это карта сегментации формы (height, width) с идентификаторами классов. Если return_segmentation_scores=True, возвращается список объектов SemanticSegmentationPostProcessorOutput с полями segmentation (идентификаторы классов, форма (height, width)) и segmentation_scores (форма (num_classes, height, width)). В обоих случаях (height, width) соответствует целевому размеру (если указан target_sizes).

Преобразует выход OneFormerForUniversalSegmentation в карты семантической сегментации. Поддерживается только PyTorch.

post_process_instance_segmentation

< >

( outputstask_type: str = 'instance'is_demo: bool = Truethreshold: float = 0.5mask_threshold: float = 0.5overlap_mask_area_threshold: float = 0.8target_sizes: list[tuple[int, int]] | None = Nonereturn_coco_annotation: bool | None = False ) → List[Dict]

Параметры

  • outputs (OneFormerForUniversalSegmentationOutput) — Выводы из OneFormerForUniversalSegmentationOutput.
  • task_type (str, необязательный, по умолчанию “instance”) — Постобработка зависит от входного токена задачи. Если task_type равен “panoptic”, необходимо игнорировать предсказания для фона.
  • is_demo (bool, необязательный, по умолчанию True) — Указывает, находится ли модель в демонстрационном режиме. Если значение равно true, для предсказания окончательных масок используется порог.
  • threshold (float, необязательный, по умолчанию 0.5) — Порог вероятности, ниже которого предсказанные маски экземпляров отбрасываются.
  • mask_threshold (float, необязательный, по умолчанию 0.5) — Порог, используемый при преобразовании предсказанных масок в бинарные значения.
  • overlap_mask_area_threshold (float, необязательный, по умолчанию 0.8) — Порог площади маски перекрытия для слияния или удаления мелких отсоединённых частей внутри каждой бинарной маски экземпляра.
  • target_sizes (List[Tuple], необязательный) — Список длины (batch_size), где каждый элемент списка (Tuple[int, int]]) соответствует требуемому итоговому размеру (высота, ширина) каждого предсказания в батче. Если оставить None, предсказания не будут изменены в размере.
  • return_coco_annotation (bool, необязательный, по умолчанию False) — Возвращать ли предсказания в формате COCO.

Возвращает

List[Dict]

Список словарей, по одному на изображение, где каждый словарь содержит два ключа:

  • segmentation — тензор формы (height, width), в котором каждый пиксель представляет segment_id; устанавливается в None, если маска выше threshold не найдена. Если указано target_sizes, сегментация масштабируется до соответствующего элемента target_sizes.
  • segments_info — Словарь, содержащий дополнительную информацию о каждом сегменте.
    • id — целое число, представляющее segment_id.
    • label_id — целое число, представляющее идентификатор метки / семантического класса, соответствующий segment_id.
    • was_fused — булево значение, True, если label_id содержалось в label_ids_to_fuse, иначе False. Несколько экземпляров одного и того же класса / метки были объединены и получили единый segment_id.
    • score — Оценка предсказания для сегмента с segment_id.

Преобразует вывод OneFormerForUniversalSegmentationOutput в предсказания сегментации объектов на изображении. Поддерживается только PyTorch.

post_process_panoptic_segmentation

< >

( outputsthreshold: float = 0.5mask_threshold: float = 0.5overlap_mask_area_threshold: float = 0.8label_ids_to_fuse: set[int] | None = Nonetarget_sizes: list[tuple[int, int]] | None = None ) → list[Dict]

Параметры

  • outputs (MaskFormerForInstanceSegmentationOutput) — Результаты работы MaskFormerForInstanceSegmentation.
  • threshold (float, необязательный, по умолчанию 0.5) — Порог вероятности, ниже которого предсказанные маски экземпляров отбрасываются.
  • mask_threshold (float, необязательный, по умолчанию 0.5) — Порог, используемый при преобразовании предсказанных масок в бинарные значения.
  • overlap_mask_area_threshold (float, необязательный, по умолчанию 0.8) — Порог площади маски перекрытия для слияния или удаления мелких отсоединённых частей внутри каждой бинарной маски экземпляра.
  • label_ids_to_fuse (Set[int], необязательный) — Все экземпляры меток из этого состояния будут объединены в один. Например, можно указать, что на изображении может быть только одно небо, но несколько человек, тогда ID метки «небо» будет включён в этот набор, а ID метки «человек» — нет.
  • target_sizes (list[Tuple], необязательный) — Список длины (batch_size), где каждый элемент списка (tuple[int, int]]) соответствует требуемому итоговому размеру (высота, ширина) каждого предсказания в батче. Если значение не задано (None), предсказания не будут изменены в размере.

Возвращает

list[Dict]

Список словарей, по одному на изображение, где каждый словарь содержит два ключа:

  • segmentation — тензор формы (height, width), в котором каждый пиксель представляет segment_id; устанавливается в None, если маска выше threshold не найдена. Если указано target_sizes, сегментация масштабируется до соответствующего элемента target_sizes.
  • segments_info — Словарь, содержащий дополнительную информацию о каждом сегменте.
    • id — целое число, представляющее segment_id.
    • label_id — целое число, представляющее идентификатор метки / семантического класса, соответствующий segment_id.
    • was_fused — булево значение, True, если label_id содержалось в label_ids_to_fuse, иначе False. Несколько экземпляров одного и того же класса / метки были объединены и получили единый segment_id.
    • score — Оценка предсказания для сегмента с segment_id.

Преобразует вывод MaskFormerForInstanceSegmentationOutput в предсказания панорамной сегментации изображений. Поддерживается только PyTorch.

OneFormerImageProcessorPil

класс transformers.OneFormerImageProcessorPil

< >

( **kwargs: *<class 'transformers.models.oneformer.image_processing_pil_oneformer.OneFormerImageProcessorKwargs'> )

Параметры

  • do_convert_rgb (bool, kwargs, optional, по умолчанию True) — Следует ли преобразовать изображение в RGB.
  • do_resize (bool, kwargs, optional, по умолчанию True) — Указывает, нужно ли изменять размер изображения.
  • size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs, по умолчанию {'shortest_edge' -- 800, 'longest_edge': 1333}): Определяет максимальные размеры входных данных для модели.
  • default_to_square (bool, kwargs, optional, по умолчанию False) — Определяет, следует ли по умолчанию использовать квадратное изображение при изменении размера, если size задано как int.
  • crop_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Размер выходного изображения после применения center_crop.
  • resample (Annotated[Union[int, PILImageResampling, NoneType], None], kwargs, по умолчанию 2) — Фильтр ресемплинга, используемый при изменении размера изображения. Может быть одним из значений перечисления PILImageResampling. Влияет только в том случае, если do_resize установлено в True.
  • do_rescale (bool, kwargs, optional, по умолчанию True) — Указывает, следует ли выполнять рескейлинг изображения.
  • rescale_factor (float, kwargs, optional, по умолчанию 0.00392156862745098) — Коэффициент масштабирования, применяемый к изображению, если do_rescale установлен в True.
  • do_normalize (bool, kwargs, optional, по умолчанию True) — Указывает, следует ли нормализовать изображение.
  • image_mean (Union[float, list[float], tuple[float, ...]], kwargs, optional, по умолчанию [0.485, 0.456, 0.406]) — Среднее значение изображения, используемое для нормализации. Влияет только в том случае, если do_normalize установлено в True.
  • image_std (Union[float, list[float], tuple[float, ...]], kwargs, optional, по умолчанию [0.229, 0.224, 0.225]) — Стандартное отклонение изображения, используемое для нормализации. Влияет только в том случае, если do_normalize установлено в True.
  • do_pad (bool, kwargs, optional) — Определяет, нужно ли выравнивать изображение. Выравнивание выполняется либо до максимального размера в батче, либо до фиксированного квадратного размера для каждого изображения. Точная стратегия выравнивания зависит от модели.
  • pad_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Размер в формате {"height": int, "width" int}, до которого следует дополнить изображения. Должен быть больше любого размера изображения, предоставленного для предобработки. Если pad_size не указан, изображения будут дополнены до наибольшей высоты и ширины в батче. Применяется только при do_pad=True.
  • do_center_crop (bool, kwargs, optional) — Выполнять ли центрированную обрезку изображения.
  • data_format (Union[str, ~image_utils.ChannelDimension], kwargs, optional) — Поддерживается только ChannelDimension.FIRST. Добавлено для совместимости с медленными процессорами.
  • input_data_format (Union[str, ~image_utils.ChannelDimension], kwargs, необязательный) — Формат размерности каналов для входного изображения. Если не задан, формат размерности каналов выводится из входного изображения. Может быть одним из:
    • "channels_first" или ChannelDimension.FIRST: изображение в формате (num_channels, height, width).
    • "channels_last" или ChannelDimension.LAST: изображение в формате (высота, ширина, число каналов).
    • "none" или ChannelDimension.NONE: изображение в формате (height, width).
  • device (Annotated[Union[str, torch.device, NoneType], None], kwargs) — Устройство, на котором будут обрабатываться видео. Если не задано, устройство определяется на основе входных видео.
  • return_tensors (Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — Возвращает стопку тензоров, если установлено значение 'pt', иначе возвращает список тензоров.
  • disable_grouping (bool, kwargs, optional) — Определяет, следует ли отключить группировку изображений по размеру для их индивидуальной обработки, а не пачками. Если значение равно None, оно будет установлено в True, если изображения находятся на CPU, и в False в противном случае. Этот выбор основан на эмпирических наблюдениях, описанных здесь: https://github.com/huggingface/transformers/pull/38157
  • image_seq_length (int, kwargs, optional) — Количество токенов изображения, используемых для каждого изображения во входных данных. Добавлено для обратной совместимости, но в будущих моделях это значение следует задавать как атрибут процессора.
  • repo_path (str, kwargs, optional, по умолчанию shi-labs/oneformer_demo) — Путь к локальному каталогу или репозиторию HuggingFace Hub, содержащему метаданные модели.
  • class_info_file (str, kwargs, optional) — Путь к JSON-файлу в репозитории, содержащему метаданные класса.
  • num_text (int, kwargs, optional) — Количество текстовых запросов для текстового энкодера, используемых в качестве промптов, задающих задачу.
  • num_labels (int, kwargs, optional) — Количество семантических классов для сегментации, определяющее размер выходного слоя.
  • ignore_index (int, kwargs, optional) — Метка, которую следует игнорировать в сегментационных картах; часто используется для отступов (padding).
  • do_reduce_labels (bool, kwargs, optional, по умолчанию False) — Указывает, следует ли уменьшить все значения меток на 1, чтобы сопоставить фоновый класс с ignore_index.

Создаёт процессор изображений OneFormerImageProcessor.

preprocess

< >

( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']]task_inputs: list[str] | None = Nonesegmentation_maps: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor'], NoneType] = Noneinstance_id_to_semantic_id: list[dict[int, int]] | dict[int, int] | None = None**kwargs: *<class 'transformers.models.oneformer.image_processing_pil_oneformer.OneFormerImageProcessorKwargs'> ) → ~image_processing_base.BatchFeature

Параметры

  • images (Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]) — Изображение для предобработки. Ожидается одно изображение или батч изображений со значениями пикселей в диапазоне от 0 до 255. Если передаются изображения со значениями пикселей в диапазоне от 0 до 1, установите do_rescale=False.
  • task_inputs (list[str], необязательный) — Список задач ("panoptic", "instance", "semantic") для каждого изображения в батче.
  • segmentation_maps (ImageInput, необязательный) — Сегментационные карты.
  • instance_id_to_semantic_id (Union[list[dict[int, int]], dict[int, int]], необязательный) — Сопоставление идентификаторов экземпляров с семантическими идентификаторами.
  • do_convert_rgb (bool, kwargs, optional) — Следует ли преобразовать изображение в RGB.
  • do_resize (bool, kwargs, optional) — Указывает, нужно ли изменить размер изображения.
  • size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Описывает максимальные размеры входных данных для модели.
  • default_to_square (bool, kwargs, optional) — Определяет, следует ли по умолчанию использовать квадратное изображение при изменении размера, если size является целым числом.
  • crop_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Размер выходного изображения после применения center_crop.
  • resample (Annotated[Union[int, PILImageResampling, NoneType], None], kwargs) — Фильтр ресемплинга, используемый при изменении размера изображения. Может быть одним из значений перечисления PILImageResampling. Влияет только в том случае, если do_resize установлено в True.
  • do_rescale (bool, kwargs, optional) — Нужно ли перемасштабировать изображение.
  • rescale_factor (float, kwargs, optional) — Коэффициент масштабирования, применяемый к изображению, если do_rescale установлен в True.
  • do_normalize (bool, kwargs, optional) — Нужно ли нормализовать изображение.
  • image_mean (Union[float, list[float], tuple[float, ...]], kwargs, optional) — Среднее значение изображения, используемое для нормализации. Влияет только в том случае, если do_normalize установлено в True.
  • image_std (Union[float, list[float], tuple[float, ...]], kwargs, optional) — Стандартное отклонение изображения, используемое для нормализации. Влияет только в том случае, если do_normalize установлено в True.
  • do_pad (bool, kwargs, optional) — Определяет, нужно ли выравнивать изображение. Выравнивание выполняется либо до максимального размера в батче, либо до фиксированного квадратного размера для каждого изображения. Точная стратегия выравнивания зависит от модели.
  • pad_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Размер в формате {"height": int, "width" int}, до которого следует дополнить изображения. Должен быть больше любого размера изображения, предоставленного для предобработки. Если pad_size не указан, изображения будут дополнены до наибольшей высоты и ширины в батче. Применяется только при do_pad=True.
  • do_center_crop (bool, kwargs, optional) — Выполнять ли центрированную обрезку изображения.
  • data_format (Union[str, ~image_utils.ChannelDimension], kwargs, optional) — Поддерживается только ChannelDimension.FIRST. Добавлено для совместимости с медленными процессорами.
  • input_data_format (Union[str, ~image_utils.ChannelDimension], kwargs, необязательный) — Формат размерности каналов для входного изображения. Если не задан, формат размерности каналов выводится из входного изображения. Может быть одним из:
    • "channels_first" или ChannelDimension.FIRST: изображение в формате (num_channels, height, width).
    • "channels_last" или ChannelDimension.LAST: изображение в формате (высота, ширина, число каналов).
    • "none" или ChannelDimension.NONE: изображение в формате (height, width).
  • device (Annotated[Union[str, torch.device, NoneType], None], kwargs) — Устройство, на котором будут обрабатываться видео. Если не задано, устройство определяется на основе входных видео.
  • return_tensors (Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — Возвращает стопку тензоров, если установлено значение 'pt', иначе возвращает список тензоров.
  • disable_grouping (bool, kwargs, optional) — Определяет, следует ли отключить группировку изображений по размеру для их индивидуальной обработки, а не пачками. Если значение равно None, оно будет установлено в True, если изображения находятся на CPU, и в False в противном случае. Этот выбор основан на эмпирических наблюдениях, описанных здесь: https://github.com/huggingface/transformers/pull/38157
  • image_seq_length (int, kwargs, optional) — Количество токенов изображения, используемых для каждого изображения во входных данных. Добавлено для обратной совместимости, но в будущих моделях это значение следует задавать как атрибут процессора.
  • repo_path (str, kwargs, optional, по умолчанию shi-labs/oneformer_demo) — Путь к локальному каталогу или репозиторию HuggingFace Hub, содержащему метаданные модели.
  • class_info_file (str, kwargs, optional) — Путь к JSON-файлу в репозитории, содержащему метаданные класса.
  • num_text (int, kwargs, optional) — Количество текстовых запросов для текстового энкодера, используемых в качестве промптов, задающих задачу.
  • num_labels (int, kwargs, optional) — Количество семантических классов для сегментации, определяющее размер выходного слоя.
  • ignore_index (int, kwargs, optional) — Метка, которую следует игнорировать в сегментационных картах; часто используется для отступов (padding).
  • do_reduce_labels (bool, kwargs, optional, по умолчанию False) — Указывает, следует ли уменьшить все значения меток на 1, чтобы сопоставить фоновый класс с ignore_index.

Возвращает

~image_processing_base.BatchFeature

  • data (dict) — Словарь списков/массивов/тензоров, возвращаемый методом call (‘pixel_values’ и т. д.).
  • tensor_type (Union[None, str, TensorType], необязательный) — Здесь можно указать tensor_type, чтобы при инициализации преобразовать списки целых чисел в тензоры PyTorch/Numpy.

post_process_semantic_segmentation

< >

( outputstarget_sizes: list[tuple[int, int]] | None = Nonereturn_segmentation_scores: bool = False ) → list[torch.Tensor] or list[SemanticSegmentationPostProcessorOutput]

Параметры

  • outputs (OneFormerForUniversalSegmentation) — Сырые выходные данные модели.
  • target_sizes (list[tuple[int, int]], необязательный) — Список длины (batch_size), где каждый элемент списка (Tuple[int, int]]) соответствует запрашиваемому итоговому размеру (высота, ширина) каждого предсказания. Если значение не задано, предсказания не будут изменены в размере.
  • return_segmentation_scores (bool, необязательный, по умолчанию False) — Определяет, следует ли возвращать оценки сегментации вместе с картой сегментации. Если True, каждый элемент возвращаемого списка представляет собой SemanticSegmentationPostProcessorOutput с полями segmentation (идентификаторы классов, форма (height, width)) и segmentation_scores (форма (num_classes, height, width)).

Возвращает

list[torch.Tensor] или list[SemanticSegmentationPostProcessorOutput]

Если return_segmentation_scores=False (по умолчанию), возвращается список длины batch_size, где каждый элемент — это карта сегментации формы (height, width) с идентификаторами классов. Если return_segmentation_scores=True, возвращается список объектов SemanticSegmentationPostProcessorOutput с полями segmentation (идентификаторы классов, форма (height, width)) и segmentation_scores (форма (num_classes, height, width)). В обоих случаях (height, width) соответствует целевому размеру (если указан target_sizes).

Преобразует выход OneFormerForUniversalSegmentation в карты семантической сегментации. Поддерживается только PyTorch.

post_process_instance_segmentation

< >

( outputstask_type: str = 'instance'is_demo: bool = Truethreshold: float = 0.5mask_threshold: float = 0.5overlap_mask_area_threshold: float = 0.8target_sizes: list[tuple[int, int]] | None = Nonereturn_coco_annotation: bool | None = False ) → List[Dict]

Параметры

  • outputs (OneFormerForUniversalSegmentationOutput) — Выводы из OneFormerForUniversalSegmentationOutput.
  • task_type (str, необязательный, по умолчанию “instance”) — Постобработка зависит от входного токена задачи. Если task_type равен “panoptic”, необходимо игнорировать предсказания для фона.
  • is_demo (bool, необязательный, по умолчанию True) — Указывает, находится ли модель в демонстрационном режиме. Если значение равно true, для предсказания окончательных масок используется порог.
  • threshold (float, необязательный, по умолчанию 0.5) — Порог вероятности, ниже которого предсказанные маски экземпляров отбрасываются.
  • mask_threshold (float, необязательный, по умолчанию 0.5) — Порог, используемый при преобразовании предсказанных масок в бинарные значения.
  • overlap_mask_area_threshold (float, необязательный, по умолчанию 0.8) — Порог площади маски перекрытия для слияния или удаления мелких отсоединённых частей внутри каждой бинарной маски экземпляра.
  • target_sizes (List[Tuple], необязательный) — Список длины (batch_size), где каждый элемент списка (Tuple[int, int]]) соответствует требуемому итоговому размеру (высота, ширина) каждого предсказания в батче. Если оставить None, предсказания не будут изменены в размере.
  • return_coco_annotation (bool, необязательный, по умолчанию False) — Возвращать ли предсказания в формате COCO.

Возвращает

List[Dict]

Список словарей, по одному на изображение, где каждый словарь содержит два ключа:

  • segmentation — тензор формы (height, width), в котором каждый пиксель представляет segment_id; устанавливается в None, если маска выше threshold не найдена. Если указано target_sizes, сегментация масштабируется до соответствующего элемента target_sizes.
  • segments_info — Словарь, содержащий дополнительную информацию о каждом сегменте.
    • id — целое число, представляющее segment_id.
    • label_id — целое число, представляющее идентификатор метки / семантического класса, соответствующий segment_id.
    • was_fused — булево значение, True, если label_id содержалось в label_ids_to_fuse, иначе False. Несколько экземпляров одного и того же класса / метки были объединены и получили единый segment_id.
    • score — Оценка предсказания для сегмента с segment_id.

Преобразует вывод OneFormerForUniversalSegmentationOutput в предсказания сегментации объектов на изображении. Поддерживается только PyTorch.

post_process_panoptic_segmentation

< >

( outputsthreshold: float = 0.5mask_threshold: float = 0.5overlap_mask_area_threshold: float = 0.8label_ids_to_fuse: set[int] | None = Nonetarget_sizes: list[tuple[int, int]] | None = None ) → list[Dict]

Параметры

  • outputs (MaskFormerForInstanceSegmentationOutput) — Результаты работы MaskFormerForInstanceSegmentation.
  • threshold (float, необязательный, по умолчанию 0.5) — Порог вероятности, ниже которого предсказанные маски экземпляров отбрасываются.
  • mask_threshold (float, необязательный, по умолчанию 0.5) — Порог, используемый при преобразовании предсказанных масок в бинарные значения.
  • overlap_mask_area_threshold (float, необязательный, по умолчанию 0.8) — Порог площади маски перекрытия для слияния или удаления мелких отсоединённых частей внутри каждой бинарной маски экземпляра.
  • label_ids_to_fuse (Set[int], необязательный) — Все экземпляры меток из этого состояния будут объединены в один. Например, можно указать, что на изображении может быть только одно небо, но несколько человек, тогда ID метки «небо» будет включён в этот набор, а ID метки «человек» — нет.
  • target_sizes (list[Tuple], необязательный) — Список длины (batch_size), где каждый элемент списка (tuple[int, int]]) соответствует требуемому итоговому размеру (высота, ширина) каждого предсказания в батче. Если значение не задано (None), предсказания не будут изменены в размере.

Возвращает

list[Dict]

Список словарей, по одному на изображение, где каждый словарь содержит два ключа:

  • segmentation — тензор формы (height, width), в котором каждый пиксель представляет segment_id; устанавливается в None, если маска выше threshold не найдена. Если указано target_sizes, сегментация масштабируется до соответствующего элемента target_sizes.
  • segments_info — Словарь, содержащий дополнительную информацию о каждом сегменте.
    • id — целое число, представляющее segment_id.
    • label_id — целое число, представляющее идентификатор метки / семантического класса, соответствующий segment_id.
    • was_fused — булево значение, True, если label_id содержалось в label_ids_to_fuse, иначе False. Несколько экземпляров одного и того же класса / метки были объединены и получили единый segment_id.
    • score — Оценка предсказания для сегмента с segment_id.

Преобразует вывод MaskFormerForInstanceSegmentationOutput в предсказания панорамной сегментации изображений. Поддерживается только PyTorch.

OneFormerProcessor

класс transformers.OneFormerProcessor

< >

( image_processor = Nonetokenizer = Nonemax_seq_length: int = 77task_seq_length: int = 77**kwargs )

Параметры

  • image_processor (OneFormerImageProcessor) — Обработчик изображений является обязательным входным параметром.
  • tokenizer (CLIPTokenizer) — Токенизатор является обязательным входным параметром.
  • max_seq_length (int, необязательный, по умолчанию 77) — Максимальная длина последовательности для кодирования имен классов и текстовых входных данных. Этот параметр определяет максимальное количество токенов, используемых при токенизации имен классов и других текстовых входных данных для модели.
  • task_seq_length (int, необязательный, по умолчанию 77) — Максимальная длина последовательности, используемая специально для кодирования описаний задач. Описания задач (например, «the task is semantic») токенизируются с этим ограничением длины, которое может отличаться от общей длины текстовой последовательности.

Создаёт OneFormerProcessor, который объединяет процессор изображений и токенизатор в единый процессор.

OneFormerProcessor предоставляет все возможности OneFormerImageProcessor и CLIPTokenizer. Подробнее см. в документации ~OneFormerImageProcessor и ~CLIPTokenizer.

__call__

< >

( images = Nonetask_inputs = Nonesegmentation_maps = None**kwargs ) → BatchFeature

Параметры

  • images (`) -- Image to preprocess. Expects a single or batch of images with pixel values ranging from 0 to 255. If passing in images with pixel values between 0 and 1, set do_rescale=False`.
  • task_inputs (str или list[str], обязательный) — Тип(ы) задачи для сегментации. Должен быть одним или несколькими из "semantic", "instance" или "panoptic". Может быть одной строкой для одного изображения или списком строк (по одной на изображение) для пакетной обработки. Тип задачи определяет, какой вид сегментации модель выполнит на входных изображениях.
  • segmentation_maps (ImageInput, необязательный) — Соответствующие карты семантической сегментации с поэлементными аннотациями.

    (bool, необязательный, по умолчанию True): Указывает, нужно ли дополнять изображения до размера самого крупного изображения в батче и создавать пиксельную маску.

    Если оставить значение по умолчанию, будет возвращена пиксельная маска, которая:

    • 1 для пикселей, которые являются реальными (т. е. не замаскированы),
    • 0 для пикселей, являющихся заполнением (т. е. замаскированных).
  • return_tensors (str или TensorType, необязательный) — Если задано, возвращает тензоры конкретного фреймворка. Допустимые значения:
    • 'pt': возвращает объекты torch.Tensor PyTorch.
    • 'np': возвращает объекты NumPy np.ndarray.

Возвращает

BatchFeature

Объект BatchFeature со следующими полями:

  • task_inputs — список идентификаторов токенов, которые подаются в модель. Возвращается, если text не равно None.
  • pixel_values — Пиксельные значения, передаваемые в модель. Возвращается, если images не равно None.

OneFormerModel

класс transformers.OneFormerModel

< >

( config: OneFormerConfig )

Параметры

  • config (OneFormerConfig) — Класс конфигурации модели, содержащий все параметры модели. Инициализация по файлу конфигурации не загружает веса, связанные с моделью, а только конфигурацию. Чтобы загрузить веса модели, используйте метод from_pretrained().

Модель Oneformer без специализированной головы, выводящая «сырые» скрытые состояния.

Эта модель наследуется от PreTrainedModel. См. документацию родительского класса для общих методов, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка голов и т. д.)

Эта модель также является подклассом torch.nn.Module в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

forward

< >

( pixel_values: Tensortask_inputs: Tensortext_inputs: typing.Optional[torch.Tensor] = Nonepixel_mask: typing.Optional[torch.Tensor] = Noneoutput_hidden_states: bool | None = Noneoutput_attentions: bool | None = Nonereturn_dict: bool | None = None**kwargs ) → OneFormerModelOutput or tuple(torch.Tensor)

Параметры

  • pixel_values (torch.Tensor формы (batch_size, num_channels, image_size, image_size)) — Тензоры, соответствующие входным изображениям. Значения пикселей можно получить с помощью OneFormerImageProcessor. Подробности см. в OneFormerImageProcessor.call() (OneFormerProcessor использует OneFormerImageProcessor для обработки изображений).
  • task_inputs (torch.Tensor формы (batch_size, sequence_length)) — Входные данные задачи. Входные данные задачи можно получить с помощью AutoImageProcessor. Подробности см. в OneFormerProcessor.call().
  • text_inputs (list[torch.Tensor], необязательный) — Тензор формы (num_queries, sequence_length), который передается в модель
  • pixel_mask (torch.Tensor формы (batch_size, height, width), , необязательный) — Маска для исключения пикселей-заполнителей из вычислений внимания. Значения маски из диапазона [0, 1]:
    • 1 для пикселей, которые являются реальными (т. е. не замаскированы),
    • 0 для пикселей, являющихся заполнением (т. е. замаскированных).

    Что такое маски внимания?

  • output_hidden_states (bool, необязательный) — Указывает, следует ли возвращать скрытые состояния всех слоев. Подробности см. в описании hidden_states среди возвращаемых тензоров.
  • output_attentions (bool, необязательный) — Указывает, следует ли возвращать тензоры внимания всех слоев внимания. Подробности см. в описании attentions в разделе возвращаемых тензоров.
  • return_dict (bool, необязательный) — Указывает, следует ли возвращать ModelOutput вместо обычного кортежа.

Возвращает

OneFormerModelOutput или tuple(torch.Tensor)

Объект OneFormerModelOutput или кортеж torch.Tensor (если передано return_dict=False или если config.return_dict=False), содержащий различные элементы в зависимости от конфигурации (OneFormerConfig) и входных данных.

Метод forward модели OneFormerModel переопределяет специальный метод __call__.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр Module, а не эту функцию, поскольку первый вариант обеспечивает выполнение шагов предварительной и последующей обработки, тогда как второй молча их игнорирует.

  • encoder_hidden_states (tuple(torch.Tensor), необязательный, возвращается при передаче output_hidden_states=True или при config.output_hidden_states=True) — Кортеж из torch.Tensor (один для вывода эмбеддингов + один для вывода каждого этапа) с формой (batch_size, num_channels, height, width). Скрытые состояния (также называемые картами признаков) модели-энкодера на выходе каждого этапа.
  • pixel_decoder_hidden_states (tuple(torch.Tensor), необязательный, возвращается при передаче output_hidden_states=True или при config.output_hidden_states=True) — Кортеж torch.Tensor (один для вывода эмбеддингов + один для вывода каждой стадии) формы (batch_size, num_channels, height, width). Скрытые состояния (также называемые картами признаков) модели пиксельного декодера на выходе каждой стадии.
  • transformer_decoder_hidden_states (tuple(torch.Tensor), необязательный, возвращается при передаче output_hidden_states=True или при config.output_hidden_states=True) — Кортеж из torch.Tensor (один для вывода эмбеддингов + один для вывода каждого этапа) формы (batch_size, sequence_length, hidden_size). Скрытые состояния (также называемые картами признаков) декодера трансформера на выходе каждого этапа.
  • transformer_decoder_object_queries (torch.Tensor формы (batch_size, num_queries, hidden_dim)) — Выходные object queries из последнего слоя декодера трансформера.
  • transformer_decoder_contrastive_queries (torch.Tensor формы (batch_size, num_queries, hidden_dim)) — Контрастные запросы из декодера трансформера.
  • transformer_decoder_mask_predictions (torch.Tensor формы (batch_size, num_queries, height, width)) — Предсказания масок из последнего слоя декодера трансформера.
  • transformer_decoder_class_predictions (torch.Tensor формы (batch_size, num_queries, num_classes+1)) — Предсказания классов из последнего слоя декодера трансформера.
  • transformer_decoder_auxiliary_predictions (Tuple из Dict str, torch.Tensor, необязательный) — Кортеж предсказаний классов и масок от каждого слоя декодера трансформера.
  • text_queries (torch.Tensor, необязательный с формой (batch_size, num_queries, hidden_dim)) — Текстовые запросы, полученные из входного списка текстов и используемые для вычисления контрастивной функции потерь во время обучения.
  • task_token (torch.Tensor формы (batch_size, hidden_dim)) — одномерный токен задачи для обусловливания запросов.
  • attentions (tuple(tuple(torch.Tensor)), optional, возвращается, если передано output_attentions=True или если config.output_attentions=True) — Кортеж tuple(torch.Tensor) (по одному для каждого слоя) формы (batch_size, num_heads, sequence_length, sequence_length). Веса Self и Cross Attention из декодера трансформера.

Пример:

>>> import torch
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO
>>> from transformers import OneFormerProcessor, OneFormerModel

>>> # download test image
>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))

>>> # load processor for preprocessing the inputs
>>> processor = OneFormerProcessor.from_pretrained("shi-labs/oneformer_ade20k_swin_tiny")
>>> model = OneFormerModel.from_pretrained("shi-labs/oneformer_ade20k_swin_tiny")
>>> inputs = processor(image, ["semantic"], return_tensors="pt")

>>> with torch.no_grad():
...     outputs = model(**inputs)

>>> mask_predictions = outputs.transformer_decoder_mask_predictions
>>> class_predictions = outputs.transformer_decoder_class_predictions

>>> f"👉 Mask Predictions Shape: {list(mask_predictions.shape)}, Class Predictions Shape: {list(class_predictions.shape)}"
'👉 Mask Predictions Shape: [1, 150, 128, 171], Class Predictions Shape: [1, 150, 151]'

OneFormerForUniversalSegmentation

класс transformers.OneFormerForUniversalSegmentation

< >

( config: OneFormerConfig )

Параметры

  • config (OneFormerConfig) — Класс конфигурации модели, содержащий все параметры модели. Инициализация по файлу конфигурации не загружает веса, связанные с моделью, а только конфигурацию. Чтобы загрузить веса модели, используйте метод from_pretrained().

Модель OneFormer для сегментации изображений: instance, semantic и panoptic.

Эта модель наследуется от PreTrainedModel. См. документацию родительского класса для общих методов, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка голов и т. д.)

Эта модель также является подклассом torch.nn.Module в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

forward

< >

( pixel_values: Tensortask_inputs: Tensortext_inputs: typing.Optional[torch.Tensor] = Nonemask_labels: list[torch.Tensor] | None = Noneclass_labels: list[torch.Tensor] | None = Nonepixel_mask: typing.Optional[torch.Tensor] = Noneoutput_auxiliary_logits: bool | None = Noneoutput_hidden_states: bool | None = Noneoutput_attentions: bool | None = Nonereturn_dict: bool | None = None**kwargs ) → OneFormerForUniversalSegmentationOutput or tuple(torch.Tensor)

Параметры

  • pixel_values (torch.Tensor формы (batch_size, num_channels, image_size, image_size)) — Тензоры, соответствующие входным изображениям. Значения пикселей можно получить с помощью OneFormerImageProcessor. Подробности см. в OneFormerImageProcessor.call() (OneFormerProcessor использует OneFormerImageProcessor для обработки изображений).
  • task_inputs (torch.Tensor формы (batch_size, sequence_length)) — Входные данные задачи. Входные данные задачи можно получить с помощью AutoImageProcessor. Подробности см. в OneFormerProcessor.call().
  • text_inputs (list[torch.Tensor], необязательный) — Тензор формы (num_queries, sequence_length), который передается в модель
  • mask_labels (list[torch.Tensor], необязательный) — Список меток маски формы (num_labels, height, width), передаваемых в модель
  • class_labels (list[torch.LongTensor], необязательный) — список целевых меток классов формы (num_labels, height, width), передаваемых в модель. Они указывают метки для mask_labels, например, метка для mask_labels[i][j], если class_labels[i][j].
  • pixel_mask (torch.Tensor формы (batch_size, height, width), , необязательный) — Маска для исключения пикселей-заполнителей из вычислений внимания. Значения маски из диапазона [0, 1]:
    • 1 для пикселей, которые являются реальными (т. е. не замаскированы),
    • 0 для пикселей, являющихся заполнением (т. е. замаскированных).

    Что такое маски внимания?

  • output_auxiliary_logits (bool, необязательный) — Включает ли вывод вспомогательных логитов.
  • output_hidden_states (bool, необязательный) — Указывает, следует ли возвращать скрытые состояния всех слоев. Подробности см. в описании hidden_states среди возвращаемых тензоров.
  • output_attentions (bool, необязательный) — Указывает, следует ли возвращать тензоры внимания всех слоев внимания. Подробности см. в описании attentions в разделе возвращаемых тензоров.
  • return_dict (bool, необязательный) — Указывает, следует ли возвращать ModelOutput вместо обычного кортежа.

Возвращает

OneFormerForUniversalSegmentationOutput или tuple(torch.Tensor)

Объект OneFormerForUniversalSegmentationOutput или кортеж torch.Tensor (если передано return_dict=False или если config.return_dict=False), содержащий различные элементы в зависимости от конфигурации (OneFormerConfig) и входных данных.

Метод forward класса OneFormerForUniversalSegmentation переопределяет специальный метод __call__.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр Module, а не эту функцию, поскольку первый вариант обеспечивает выполнение шагов предварительной и последующей обработки, тогда как второй молча их игнорирует.

  • loss (torch.Tensor, необязательный) — вычисленная функция потерь, возвращается при наличии меток.
  • class_queries_logits (torch.Tensor, optional) — тензор формы (batch_size, num_queries, num_labels + 1), представляющий предложенные классы для каждого запроса. Обратите внимание, что + 1 необходимо, так как мы учитываем нулевой класс.
  • masks_queries_logits (torch.Tensor, необязательный) — тензор формы (batch_size, num_queries, height, width), представляющий предложенные маски для каждого запроса.
  • auxiliary_predictions (List из Dict str, torch.Tensor, необязательный) — Список предсказаний классов и масок от каждого слоя декодера трансформера.
  • encoder_hidden_states (tuple(torch.Tensor), необязательный, возвращается при передаче output_hidden_states=True или при config.output_hidden_states=True) — Кортеж из torch.Tensor (один для вывода эмбеддингов + один для вывода каждого этапа) с формой (batch_size, num_channels, height, width). Скрытые состояния (также называемые картами признаков) модели-энкодера на выходе каждого этапа.
  • pixel_decoder_hidden_states (tuple(torch.Tensor), необязательный, возвращается при передаче output_hidden_states=True или при config.output_hidden_states=True) — Кортеж torch.Tensor (один для вывода эмбеддингов + один для вывода каждой стадии) формы (batch_size, num_channels, height, width). Скрытые состояния (также называемые картами признаков) модели пиксельного декодера на выходе каждой стадии.
  • transformer_decoder_hidden_states (tuple(torch.Tensor), необязательный, возвращается при передаче output_hidden_states=True или при config.output_hidden_states=True) — Кортеж из torch.Tensor (один для вывода эмбеддингов + один для вывода каждого этапа) формы (batch_size, sequence_length, hidden_size). Скрытые состояния (также называемые картами признаков) декодера трансформера на выходе каждого этапа.
  • transformer_decoder_object_queries (torch.Tensor формы (batch_size, num_queries, hidden_dim)) — Выходные object queries из последнего слоя декодера трансформера.
  • transformer_decoder_contrastive_queries (torch.Tensor формы (batch_size, num_queries, hidden_dim)) — Контрастные запросы из декодера трансформера.
  • transformer_decoder_mask_predictions (torch.Tensor формы (batch_size, num_queries, height, width)) — Предсказания масок из последнего слоя декодера трансформера.
  • transformer_decoder_class_predictions (torch.Tensor формы (batch_size, num_queries, num_classes+1)) — Предсказания классов из последнего слоя декодера трансформера.
  • transformer_decoder_auxiliary_predictions (List of Dict of str, torch.Tensor, optional) — List of class and mask predictions from each layer of the transformer decoder.
  • text_queries (torch.Tensor, необязательный с формой (batch_size, num_queries, hidden_dim)) — Текстовые запросы, полученные из входного списка текстов и используемые для вычисления контрастивной функции потерь во время обучения.
  • task_token (torch.Tensor формы (batch_size, hidden_dim)) — одномерный токен задачи для обусловливания запросов.
  • attentions (tuple(tuple(torch.Tensor)), optional, возвращается, если передано output_attentions=True или если config.output_attentions=True) — Кортеж tuple(torch.Tensor) (по одному для каждого слоя) формы (batch_size, num_heads, sequence_length, sequence_length). Веса Self и Cross Attention из декодера трансформера.

Пример:

Пример универсальной сегментации:

>>> from transformers import OneFormerProcessor, OneFormerForUniversalSegmentation
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO
>>> import torch

>>> # load OneFormer fine-tuned on ADE20k for universal segmentation
>>> processor = OneFormerProcessor.from_pretrained("shi-labs/oneformer_ade20k_swin_tiny")
>>> model = OneFormerForUniversalSegmentation.from_pretrained("shi-labs/oneformer_ade20k_swin_tiny")

>>> url = (
...     "https://huggingface.co/datasets/hf-internal-testing/fixtures_ade20k/resolve/main/ADE_val_00000001.jpg"
... )
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))

>>> # Semantic Segmentation
>>> inputs = processor(image, ["semantic"], return_tensors="pt")

>>> with torch.no_grad():
...     outputs = model(**inputs)
>>> # model predicts class_queries_logits of shape `(batch_size, num_queries)`
>>> # and masks_queries_logits of shape `(batch_size, num_queries, height, width)`
>>> class_queries_logits = outputs.class_queries_logits
>>> masks_queries_logits = outputs.masks_queries_logits

>>> # you can pass them to processor for semantic postprocessing
>>> predicted_semantic_map = processor.post_process_semantic_segmentation(
...     outputs, target_sizes=[(image.height, image.width)]
... )[0]
>>> f"👉 Semantic Predictions Shape: {list(predicted_semantic_map.shape)}"
'👉 Semantic Predictions Shape: [512, 683]'

>>> # Instance Segmentation
>>> inputs = processor(image, ["instance"], return_tensors="pt")

>>> with torch.no_grad():
...     outputs = model(**inputs)
>>> # model predicts class_queries_logits of shape `(batch_size, num_queries)`
>>> # and masks_queries_logits of shape `(batch_size, num_queries, height, width)`
>>> class_queries_logits = outputs.class_queries_logits
>>> masks_queries_logits = outputs.masks_queries_logits

>>> # you can pass them to processor for instance postprocessing
>>> predicted_instance_map = processor.post_process_instance_segmentation(
...     outputs, target_sizes=[(image.height, image.width)]
... )[0]["segmentation"]
>>> f"👉 Instance Predictions Shape: {list(predicted_instance_map.shape)}"
'👉 Instance Predictions Shape: [512, 683]'

>>> # Panoptic Segmentation
>>> inputs = processor(image, ["panoptic"], return_tensors="pt")

>>> with torch.no_grad():
...     outputs = model(**inputs)
>>> # model predicts class_queries_logits of shape `(batch_size, num_queries)`
>>> # and masks_queries_logits of shape `(batch_size, num_queries, height, width)`
>>> class_queries_logits = outputs.class_queries_logits
>>> masks_queries_logits = outputs.masks_queries_logits

>>> # you can pass them to processor for panoptic postprocessing
>>> predicted_panoptic_map = processor.post_process_panoptic_segmentation(
...     outputs, target_sizes=[(image.height, image.width)]
... )[0]["segmentation"]
>>> f"👉 Panoptic Predictions Shape: {list(predicted_panoptic_map.shape)}"
'👉 Panoptic Predictions Shape: [512, 683]'
Update on GitHub

←OmDet-Turbo Ovis2→