Transformers documentation

LLaVA-OneVision

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Эта модель была опубликована в HF papers 06.08.2024 и добавлена в Hugging Face Transformers 05.09.2024.

LLaVA-OneVision

Обзор

Модель LLaVA-OneVision была предложена в работе LLaVA-OneVision: Easy Visual Task Transfer авторами Bo Li, Yuanhan Zhang, Dong Guo, Renrui Zhang, Feng Li, Hao Zhang, Kaichen Zhang, Yanwei Li, Ziwei Liu, Chunyuan Li

LLaVA-OneVision — это модель «зрение-язык», способная генерировать текст на основе одного или нескольких изображений/видео. Модель состоит из визуального энкодера SigLIP и языковой основы Qwen2. Изображения обрабатываются с помощью техники anyres-9, при которой изображение разделяется на 9 патчей для более эффективной обработки изображений высокого разрешения и извлечения максимального количества деталей. Однако кадры видео пуллятся до общей длины последовательности 196 токенов на кадр для более экономного использования памяти. LLaVA-OneVision доступна в трёх размерах: 0.5B, 7B и 72B и демонстрирует выдающиеся результаты на бенчмарках.

Аннотация из статьи следующая:

Мы представляем LLaVA-OneVision — семейство открытых больших мультимодальных моделей (LMM), разработанных на основе обобщения наших наработок в области данных, моделей и визуальных представлений, изложенных в серии блогов LLaVA-NeXT. Наши экспериментальные результаты показывают, что LLaVA-OneVision — первая одиночная модель, способная одновременно расширять границы производительности открытых LMM в трёх важных сценариях компьютерного зрения: с одним изображением, с несколькими изображениями и с видео. Важно, что архитектура LLaVAOneVision обеспечивает эффективный трансферное обучение между различными модальностями/сценариями, что приводит к появлению новых способностей. В частности, сильные возможности понимания видео и работы в кросс-сценарном режиме демонстрируются при переносе задач с изображений на видео.

LLaVA-OneVision architecture. Taken from the original paper.

Советы:

Мы рекомендуем пользователям использовать padding_side="left" при вычислении пакетной генерации, так как это приводит к более точным результатам. Просто убедитесь, что вы вызываете processor.tokenizer.padding_side = "left" перед генерацией.

Llava-OneVision использует разное количество патчей для изображений, поэтому ему необходимо дополнять входные данные внутри кода моделирования, помимо дополнения, выполняемого при обработке входов. По умолчанию используется «левое дополнение», если модель находится в режиме eval(), в противном случае — «правое дополнение».

Форматирование промптов с помощью шаблонов чата

Каждый чекпоинт обучен с использованием конкретного формата промпта, который зависит от базовой архитектуры большой языковой модели. Для обеспечения корректного форматирования используйте метод apply_chat_template процессора.

Важно:

Необходимо сформировать историю диалога — передача обычной строки не сработает.
Каждое сообщение должно быть словарем с ключами "role" и "content".
"content" должен представлять собой список словарей для различных модальностей, таких как "text" и "image".

Ниже приведен пример структуры входных данных. Мы будем использовать llava-onevision-qwen2-7b-si-hf и историю диалога, содержащую текст и изображение. Каждое поле content должно быть списком словарей, как показано ниже:

from transformers import AutoProcessor


processor = AutoProcessor.from_pretrained("llava-hf/llava-onevision-qwen2-7b-si-hf")

conversation = [
    {
        "role": "user",
        "content": [
            {"type": "image"},
            {"type": "text", "text": "What’s shown in this image?"},
        ],
    },
    {
        "role": "assistant",
        "content": [{"type": "text", "text": "This image shows a red stop sign."},]
    },
    {

        "role": "user",
        "content": [
            {"type": "text", "text": "Describe the image in more details."},
        ],
    },
]

text_prompt = processor.apply_chat_template(conversation, add_generation_prompt=True)

# Note that the template simply formats your prompt, you still have to tokenize it and obtain pixel values for your images
print(text_prompt)
'<|im_start|>user\n<image>What is shown in this image?<|im_end|>\n<|im_start|>assistant\nPage showing the list of options.<|im_end|>'

🚀 Бонус: если вы используете transformers>=4.49.0, вы также можете получить векторизованный вывод из apply_chat_template. Подробнее о том, как это сделать, см. в разделе Примеры использования ниже.

Эта модель была предоставлена RaushanTurganbay. Исходный код можно найти здесь.

Пример использования

Инференс для одного изображения

Вот как загрузить модель и выполнить инференс в половинной точности (torch.float16):

import torch

from transformers import AutoProcessor, LlavaOnevisionForConditionalGeneration


processor = AutoProcessor.from_pretrained("llava-hf/llava-onevision-qwen2-7b-ov-hf")
model = LlavaOnevisionForConditionalGeneration.from_pretrained(
    "llava-hf/llava-onevision-qwen2-7b-ov-hf",
    device_map="auto"
)

# prepare image and text prompt, using the appropriate prompt template
url = "https://github.com/haotian-liu/LLaVA/blob/1a91fc274d7c35a9b50b3cb29c4247ae5837ce39/images/llava_v1_5_radar.jpg?raw=true"
conversation = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": url},
            {"type": "text", "text": "What is shown in this image?"},
        ],
    },
]
inputs = processor.apply_chat_template(conversation, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt").to(model.device)
inputs = inputs.to(model.device, torch.float16)

# autoregressively complete prompt
output = model.generate(**inputs, max_new_tokens=100)
print(processor.decode(output[0], skip_special_tokens=True))
'user\n\nWhat is shown in this image?\nassistant\nThe image shows a radar chart, also known as a spider chart or a star chart, which is used to compare multiple quantitative variables. Each axis represents a different variable, and the chart is filled with'

Инференс с несколькими изображениями

LLaVa-OneVision позволяет выполнять инференс с несколькими изображениями на входе, где изображения могут относиться как к одному промпту, так и к разным (при пакетном инференсе). Для этого необходимо использовать чекпоинты с суффиксом «ov». В случаях с несколькими изображениями мы рекомендуем использовать вложенный список изображений в качестве входа. В противном случае каждое изображение будет преобразовано в патчи, что потребует значительного объёма памяти. Вот как это можно сделать:

import torch

from transformers import AutoProcessor, LlavaOnevisionForConditionalGeneration


# Load the model in half-precision
model = LlavaOnevisionForConditionalGeneration.from_pretrained("llava-hf/llava-onevision-qwen2-7b-ov-hf", device_map="auto")
processor = AutoProcessor.from_pretrained("llava-hf/llava-onevision-qwen2-7b-ov-hf")

# Prepare a batch of two prompts, where the first one is a multi-turn conversation and the second is not
conversation_1 = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": "https://www.ilankelman.org/stopsigns/australia.jpg"},
            {"type": "text", "text": "What is shown in this image?"},
        ],
    },
    {
        "role": "assistant",
        "content": [
            {"type": "text", "text": "There is a red stop sign in the image."},
        ],
    },
    {
        "role": "user",
        "content": [
            {"type": "image", "url": "http://images.cocodataset.org/val2017/000000039769.jpg"},
            {"type": "text", "text": "What about this image? How many cats do you see?"},
        ],
    },
]

conversation_2 = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": "https://huggingface.co/microsoft/kosmos-2-patch14-224/resolve/main/snowman.jpg"},
            {"type": "text", "text": "What is shown in this image?"},
        ],
    },
]

inputs = processor.apply_chat_template(
    [conversation_1, conversation_2],
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    padding=True,
    padding_side="left",
    return_tensors="pt",
).to(model.device, torch.float16)

# Generate
generate_ids = model.generate(**inputs, max_new_tokens=30)
processor.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)
['user\n\nWhat is shown in this image?\nassistant\nThere is a red stop sign in the image.\nuser\n\nWhat about this image? How many cats do you see?\nassistant\ntwo', 'user\n\nWhat is shown in this image?\nassistant\nThe image shows a whimsical scene of a snowman sitting by a campfire. The snowman is anthropomorphized, wearing a hat and']

Видеоинференс

LLaVa-OneVision также позволяет выполнять инференс с видео в качестве входных данных, где кадры видео обрабатываются как несколько изображений. Вот как это сделать:

from huggingface_hub import hf_hub_download
import torch
from transformers import AutoProcessor, LlavaOnevisionForConditionalGeneration

# Load the model in half-precision
model = LlavaOnevisionForConditionalGeneration.from_pretrained("llava-hf/llava-onevision-qwen2-7b-ov-hf", device_map="auto")
processor = AutoProcessor.from_pretrained("llava-hf/llava-onevision-qwen2-7b-ov-hf")

video_path = hf_hub_download(repo_id="raushan-testing-hf/videos-test", filename="sample_demo_1.mp4", repo_type="dataset")
conversation = [
    {

        "role": "user",
        "content": [
            {"type": "video", "path": video_path},
            {"type": "text", "text": "Why is this video funny?"},
            ],
    },
]

inputs = processor.apply_chat_template(
    conversation,
    num_frames=8
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt"
).to(model.device, torch.float16)

out = model.generate(**inputs, max_new_tokens=60)
processor.batch_decode(out, skip_special_tokens=True, clean_up_tokenization_spaces=True)
["user\n\nWhy is this video funny?\nassistant\nThe video appears to be humorous because it shows a young child, who is wearing glasses and holding a book, seemingly reading with a serious and focused expression. The child's glasses are a bit oversized for their face, which adds a comical touch, as it's a common trope to see children wearing"]

Оптимизация модели

Квантование с использованием bitsandbytes

Модель можно загрузить в 8 или 4 бита, что значительно снижает требования к памяти при сохранении производительности исходной модели. Сначала убедитесь, что библиотека bitsandbytes установлена: pip install bitsandbytes, и что у вас есть доступ к поддерживаемой библиотекой GPU/ускорителю.

bitsandbytes переписывается для поддержки нескольких бэкендов помимо CUDA. На данный момент реализации для ROCm (GPU AMD) и Intel CPU являются зрелыми, поддержка Intel XPU находится в разработке, а поддержка Apple Silicon ожидается в IV квартале / I квартале. Инструкции по установке и последние обновления бэкендов доступны по этой ссылке.

Мы ценим ваши отзывы, которые помогают выявлять ошибки до полного выпуска! Подробнее и ссылки для обратной связи — в этих документах.

Просто замените фрагмент кода выше на:

from transformers import BitsAndBytesConfig, LlavaOnevisionForConditionalGeneration


# specify how to quantize the model
quantization_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.float16,
)

model = LlavaOnevisionForConditionalGeneration.from_pretrained(model_id, quantization_config=quantization_config, device_map="auto")

Используйте Flash-Attention 2 для дальнейшего ускорения генерации

Сначала убедитесь, что пакет flash-attn установлен. Подробности об установке этого пакета см. в оригинальном репозитории Flash Attention. Просто замените приведённый выше фрагмент кода на:

from transformers import LlavaOnevisionForConditionalGeneration


model = LlavaOnevisionForConditionalGeneration.from_pretrained(
    model_id,
    use_flash_attention_2=True
).to(0, device_map="auto")

Transformers

LLaVA-OneVision

Обзор

Форматирование промптов с помощью шаблонов чата

Пример использования

Инференс для одного изображения

Инференс с несколькими изображениями

Видеоинференс

Оптимизация модели

Квантование с использованием bitsandbytes

Используйте Flash-Attention 2 для дальнейшего ускорения генерации

LlavaOnevisionConfig

класс transformers.LlavaOnevisionConfig

LlavaOnevisionProcessor

класс transformers.LlavaOnevisionProcessor

__call__

LlavaOnevisionImageProcessor

класс transformers.LlavaOnevisionImageProcessor

preprocess

LlavaOnevisionImageProcessorPil

класс transformers.LlavaOnevisionImageProcessorPil

preprocess

LlavaOnevisionVideoProcessor

класс transformers.LlavaOnevisionVideoProcessor

LlavaOnevisionModel

класс transformers.LlavaOnevisionModel

forward

get_image_features

get_placeholder_mask

get_video_features

pack_image_features

LlavaOnevisionForConditionalGeneration

класс transformers.LlavaOnevisionForConditionalGeneration

forward

get_image_features

get_video_features

call