Transformers documentation

Bộ xử lý hình ảnh

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Bộ xử lý hình ảnh

Bộ xử lý ảnh chuyển đổi ảnh thành các giá trị pixel, tức là các tensor đại diện cho màu sắc và kích thước của ảnh. Các giá trị pixel này là đầu vào cho một mô hình thị giác. Để đảm bảo một mô hình được huấn luyện trước nhận được đầu vào chính xác, bộ xử lý ảnh có thể thực hiện các thao tác sau để đảm bảo ảnh hoàn toàn giống với các ảnh mà mô hình đã được huấn luyện trước đó.

  • center-crop hoặc resize một hình ảnh
  • chuẩn hóa hoặc điều chỉnh lại giá trị pixel

Sử dụng from_pretrained() để tải cấu hình bộ xử lý ảnh (kích thước ảnh, có chuẩn hóa và co giãn hay không, v.v.) từ một mô hình thị giác trên Hub của Hugging Face hoặc thư mục cục bộ. Cấu hình cho mỗi mô hình được huấn luyện trước được lưu trong tệp preprocessor_config.json.

Khi bộ xử lý ảnh là một phần của bộ xử lý đa phương thức, cấu hình của nó được lồng trong processor_config.json. Xem Lưu và tải bộ xử lý để biết chi tiết.

from transformers import AutoImageProcessor

image_processor = AutoImageProcessor.from_pretrained("google/vit-base-patch16-224")

Truyền một hình ảnh vào bộ xử lý hình ảnh để chuyển đổi nó thành các giá trị pixel, và đặt return_tensors="pt" để trả về các tensor PyTorch. Bạn có thể in ra các đầu vào để xem hình ảnh trông như thế nào dưới dạng tensor.

from PIL import Image
import requests

url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/image_processor_example.png"
image = Image.open(requests.get(url, stream=True).raw).convert("RGB")
inputs = image_processor(image, return_tensors="pt")

Hướng dẫn này bao gồm lớp image processor và cách tiền xử lý hình ảnh cho các mô hình thị giác.

Các lớp bộ xử lý ảnh

Bộ xử lý hình ảnh sử dụng kiến trúc dựa trên backend với hai backend:

  • TorchvisionBackend — triển khai mặc định dựa trên torchvision. Được tăng tốc bằng GPU và nhanh hơn backend PIL tới 33 lần đối với các lô đầu vào dạng torch.Tensor. Tất cả các model đều hỗ trợ backend này; các model mới hơn chỉ hỗ trợ duy nhất backend này.
  • PilBackend — phương án thay thế bằng PIL/NumPy. Di động và chỉ chạy trên CPU. Chỉ khả dụng cho các mô hình cũ, nơi nó hữu ích để tái tạo chính xác các đầu ra số của bản triển khai gốc.

Backend đang hoạt động trên một processor đã được nạp có thể được kiểm tra thông qua thuộc tính backend của nó (ví dụ: processor.backend == "torchvision"). Mỗi image processor kế thừa từ ImageProcessingMixin, cung cấp các phương thức from_pretrained() và save_pretrained().

Có hai cách để bạn nạp trình xử lý ảnh: bằng AutoImageProcessor hoặc trực tiếp từ một lớp cụ thể của mô hình.

AutoImageProcessor
bộ xử lý ảnh cụ thể cho mô hình

API AutoClass cung cấp một phương pháp tiện lợi để nạp bộ xử lý hình ảnh mà không cần chỉ định trực tiếp mô hình mà bộ xử lý hình ảnh đó liên kết.

Sử dụng from_pretrained() với tham số backend để chọn backend. Khi backend bị bỏ qua (mặc định), torchvision sẽ được chọn nếu đã được cài đặt, ngược lại PIL sẽ được sử dụng. Lưu ý rằng backend="pil" chỉ được hỗ trợ cho các model cũ; các model mới chỉ cung cấp backend torchvision.

Để có sự khớp gần nhất với tiền xử lý trong quá trình huấn luyện của mô hình, hãy sử dụng backend được chỉ định trong tài liệu hoặc mã huấn luyện của nó. Nếu pipeline huấn luyện sử dụng PIL và mô hình hỗ trợ cả hai backend, hãy truyền backend="pil". Việc chuyển đổi backend có thể làm thay đổi giá trị pixel sau khi resize, và các bản cập nhật của Pillow hoặc torchvision cũng có thể gây ra thay đổi tương tự. Để tiền xử lý có thể tái lập được, hãy giữ nguyên phiên bản của backend và thư viện ảnh.

Một nhóm nhỏ các model cũ (Chameleon, Flava, Idefics3, SmolVLM) sử dụng nội suy Lanczos. Backend mặc định của chúng phụ thuộc vào phiên bản torchvision của bạn. Với torchvision > 0.27, Lanczos được hỗ trợ bản địa và các model này mặc định dùng torchvision. Các phiên bản torchvision cũ hơn sẽ chuyển sang BICUBIC, do đó mặc định là PIL để giữ nguyên đầu ra ban đầu. Truyền backend="torchvision" một cách tường minh để ghi đè mặc định.

from transformers import AutoImageProcessor

# Default: picks torchvision if available, otherwise pil
image_processor = AutoImageProcessor.from_pretrained("google/vit-base-patch16-224")

# Explicitly request the torchvision backend
image_processor = AutoImageProcessor.from_pretrained("google/vit-base-patch16-224", backend="torchvision")

# Explicitly request the PIL backend (only for models that support it)
image_processor = AutoImageProcessor.from_pretrained("google/vit-base-patch16-224", backend="pil")

Bộ xử lý backend Torchvision

TorchvisionBackend là backend mặc định. Hãy đảm bảo torchvision đã được cài đặt, sau đó tải nó bằng backend="torchvision" (hoặc đơn giản là bỏ qua backend, vì torchvision sẽ được chọn tự động khi có sẵn).

from transformers import AutoImageProcessor

processor = AutoImageProcessor.from_pretrained("facebook/detr-resnet-50", backend="torchvision")

Điều khiển thiết bị thực hiện xử lý bằng đối số device. Mặc định, xử lý được thực hiện trên cùng thiết bị với đầu vào nếu đầu vào là tensor, ngược lại sẽ chuyển sang CPU. Ví dụ bên dưới chạy xử lý trên bộ tăng tốc.

import torch
from torchvision.io import read_image
from transformers import DetrImageProcessor

device = torch.accelerator.current_accelerator().type if torch.accelerator.is_available() else "cpu"

images = read_image("image.jpg")
processor = DetrImageProcessor.from_pretrained("facebook/detr-resnet-50")
images_processed = processor(images, return_tensors="pt", device=device)
Benchmarks

Các kết quả benchmark được lấy từ một instance AWS EC2 g5.2xlarge với GPU NVIDIA A10G Tensor Core.

Độ phân giải động

Hầu hết bộ xử lý ảnh (image processor) đều điều chỉnh kích thước mọi ảnh về một độ phân giải cố định. Độ phân giải động cho phép một số mô hình giữ nguyên tỷ lệ khung hình gốc và để lượng dữ liệu tiền xử lý tăng theo kích thước ảnh, nhờ đó một bức ảnh chi tiết sẽ nhận được nhiều patch hơn một biểu tượng nhỏ và mô hình sẽ phân bổ sức mạnh tính toán vào những nơi thực sự có nội dung đáng chú ý.

Cách hình ảnh được chia phụ thuộc vào từng mô hình. Một số mô hình cắt hình ảnh thành một số lượng biến đổi các mảnh có kích thước cố định, bị giới hạn bởi các tham số như min_patches và max_patches. Các mô hình khác sẽ thay đổi kích thước hình ảnh để phù hợp nhất với độ phân giải, được chọn từ một danh sách các tỷ lệ khung hình có sẵn hoặc được suy ra từ ngân sách pixel.

Tham khảo trang tài liệu của mô hình để biết các tham số, giá trị mặc định và hình dạng đầu ra.

Tiền xử lý

Mô hình thị giác của Transformers kỳ vọng đầu vào dưới dạng tensor PyTorch của các giá trị pixel. Bộ xử lý ảnh đảm nhận việc chuyển đổi ảnh thành các giá trị pixel, được biểu diễn bởi kích thước lô (batch size), số kênh, chiều cao và chiều rộng. Để đạt được điều này, ảnh sẽ được thay đổi kích thước (cắt theo tâm) và các giá trị pixel được chuẩn hóa cũng như điều chỉnh tỷ lệ về các giá trị mà mô hình kỳ vọng.

Tiền xử lý ảnh không giống với tăng cường ảnh. Tăng cường ảnh thực hiện các thay đổi (độ sáng, màu sắc, xoay, v.v.) đối với một ảnh nhằm mục đích tạo ra các ví dụ huấn luyện mới hoặc ngăn chặn quá khớp. Tiền xử lý ảnh thực hiện các thay đổi đối với một ảnh nhằm mục đích khớp với định dạng đầu vào mong đợi của một mô hình được huấn luyện trước.

Thông thường, hình ảnh sẽ được tăng cường (để tăng hiệu suất) và sau đó được tiền xử lý trước khi được truyền vào mô hình. Bạn có thể sử dụng bất kỳ thư viện nào (Albumentations, Kornia) để tăng cường và một bộ xử lý hình ảnh để tiền xử lý.

Hướng dẫn này sử dụng module transforms của torchvision để tăng cường dữ liệu.

Bắt đầu bằng cách tải một mẫu nhỏ của bộ dữ liệu food101.

from datasets import load_dataset

dataset = load_dataset("ethz/food101", split="train[:100]")

Từ module transforms, hãy sử dụng API Compose để kết nối RandomResizedCrop và ColorJitter. Các transform này sẽ cắt ngẫu nhiên và thay đổi kích thước một hình ảnh, đồng thời điều chỉnh màu sắc của hình ảnh một cách ngẫu nhiên.

Kích thước ảnh để cắt ngẫu nhiên có thể được lấy từ bộ xử lý ảnh. Đối với một số mô hình, chiều cao và chiều rộng chính xác được yêu cầu, trong khi với các mô hình khác, chỉ cần shortest_edge.

from torchvision.transforms import RandomResizedCrop, ColorJitter, Compose

size = (
    image_processor.size["shortest_edge"]
    if "shortest_edge" in image_processor.size
    else (image_processor.size["height"], image_processor.size["width"])
)
_transforms = Compose([RandomResizedCrop(size), ColorJitter(brightness=0.5, hue=0.5)])

Áp dụng các phép biến đổi lên các hình ảnh và chuyển chúng sang định dạng RGB. Sau đó, truyền các hình ảnh đã tăng cường vào bộ xử lý hình ảnh để trả về các giá trị pixel.

Tham số do_resize được đặt thành False vì các hình ảnh đã được thay đổi kích thước ở bước tăng cường dữ liệu bằng RandomResizedCrop. Nếu bạn không tăng cường dữ liệu hình ảnh, trình xử lý hình ảnh sẽ tự động thay đổi kích thước và chuẩn hóa các hình ảnh bằng các giá trị image_mean và image_std. Các giá trị này được tìm thấy trong tệp cấu hình tiền xử lý.

def transforms(examples):
    images = [_transforms(img.convert("RGB")) for img in examples["image"]]
    examples["pixel_values"] = image_processor(images, do_resize=False, return_tensors="pt")["pixel_values"]
    return examples

Áp dụng hàm tăng cường và tiền xử lý kết hợp lên toàn bộ tập dữ liệu theo thời gian thực bằng set_transform.

dataset.set_transform(transforms)

Chuyển các giá trị pixel trở lại thành hình ảnh để xem hình ảnh đã được tăng cường và tiền xử lý như thế nào.

import numpy as np
import matplotlib.pyplot as plt

img = dataset[0]["pixel_values"]
plt.imshow(img.permute(1, 2, 0))
trước đó
sau

Đối với các tác vụ thị giác khác như phát hiện đối tượng hoặc phân đoạn, bộ xử lý hình ảnh bao gồm các phương pháp xử lý hậu kỳ để chuyển đổi đầu ra thô của mô hình thành các dự đoán có ý nghĩa như hộp bao quanh hoặc bản đồ phân đoạn.

Đệm

Một số mô hình, chẳng hạn như DETR, áp dụng scale augmentation trong quá trình huấn luyện, điều này có thể khiến các hình ảnh trong một batch có kích thước khác nhau. Các hình ảnh có kích thước khác nhau không thể được batch cùng nhau.

Để khắc phục điều này, hãy đệm các ảnh bằng token đệm đặc biệt 0. Sử dụng phương thức pad để đệm các ảnh và định nghĩa một hàm collate tùy chỉnh để nhóm chúng thành một batch.

def collate_fn(batch):
    pixel_values = [item["pixel_values"] for item in batch]
    encoding = image_processor.pad(pixel_values, return_tensors="pt")
    labels = [item["labels"] for item in batch]
    batch = {}
    batch["pixel_values"] = encoding["pixel_values"]
    batch["pixel_mask"] = encoding["pixel_mask"]
    batch["labels"] = labels
    return batch
Update on GitHub