Bu model, 2026-05-05 tarihinde Hugging Face Transformers'a katkıda bulunulmuştur.

Gemma 4 Asistan

Genel Bakış

Gemma 4 Assistant, Gemma 4 modelleri için Multi-Token Prediction (MTP) yöntemini ve ilişkili aday üreticisini kullanarak spekülatif çözümlendirmeyi (speculative decoding) mümkün kılan küçük, yalnızca metin tabanlı bir modeldir. Gemma 4 E2B, E4B, 31B ve 26B-A4B (MoE) modellerinin IT varyantları için ön eğitilmiş modeller sağlanmaktadır.

Mimari olarak Gemma 4 Assistant, diğer Gemma 4 modelleriyle aynı Gemma4TextModel omurgasını paylaşır ancak birkaç temel noktada farklılık gösterir:

• Tüm model KV paylaşımı kullanır. Gemma 3n ile birlikte ilk kez tanıtılan bu teknik, asistanın desteklediği hedef modelin doldurduğu KV önbelleğinin yeniden kullanılmasına olanak tanır; bu sayede asistan pre-fille aşamasını tamamen atlayabilir ve ileri geçiş sırasında dikkat (attention) hesaplaması önemli ölçüde azaltılabilir.
• position_ids değeri sabittir. KV önbelleği paylaşıldığından ve asistanın önbelleği güncelleyecek bir yöntemi olmadığından, asistan tüm tokenları aynı konum kimliğinden tahmin eder.
• Girdiler, gömme (embedding) ve gizli durumların (hidden states) birleştirilmesidir. Statik KV önbelleğine ve position_ids parametresine uyum sağlamak için model, girdilerini hedef modelin son görülen token'ına ait embedding ve hidden_states değerlerinin birleştirilmesi olarak alır ve bunları nn.Linear dönüşümüyle asistan modelin uzayına yansıtır. Son görülen token'ın tanımı, destekli çözümleme döngüsü boyunca değişir. Ön doldurma (pre-fill) sonrası taslak olarak oluşturulan ilk token için son görülen token, istemdeki (prompt) son token olacaktır. Sonraki taslak oluşturma adımlarında ise son görülen token, asistanın ürettiği son token (bir taslak turu içinde) veya hedef modelin kabul ettiği son token (taslak turları arasında) olacaktır.
• Cross-attention, hedef modelin bağlamından en iyi şekilde yararlanmak için kullanılır. Cross-attention, asistan tarafından üretilen sorgu durumlarının, hedef modelden gelen paylaşımlı KV önbellek değerlerine dikkat etmesine olanak tanır; bu da asistanın her taslak turunda daha fazla taslak token'ı doğru bir şekilde tahmin etmesini sağlar.

Tüm orijinal Gemma 4 Assistant kontrol noktalarını Gemma 4 sürümünde bulabilirsiniz.

Kullanım örnekleri

Aşağıdaki örnek, Pipeline veya AutoModel sınıfı kullanılarak bir görüntüye dayalı metin üretmenin nasıl yapılacağını göstermektedir.

import torch
from transformers import pipeline

pipeline = pipeline(
    task="image-text-to-text",
    model="google/gemma-4-E2B-it",
    assistant_model="google/gemma-4-E2B-it-assistant",
)
pipeline(
    images="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg",
    text="<|image|>\n\nWhat is shown in this image?"
)

import torch
from transformers import AutoProcessor, AutoModelForImageTextToText

model = AutoModelForImageTextToText.from_pretrained(
    "google/gemma-4-E2B-it",
    dtype=torch.bfloat16,
    device_map="auto",
)
assistant_model = AutoModelForCausalLM.from_pretrained(
    "google/gemma-4-E2B-it-assistant",
    dtype=torch.bfloat16,
    device_map="auto",
)

processor = AutoProcessor.from_pretrained(
    "google/gemma-4-E2B-it",
    padding_side="left"
)
messages = [
    {
        "role": "user", "content": [
            {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg"},
            {"type": "text", "text": "What is shown in this image?"},
        ]
    },
]
inputs = processor.apply_chat_template(
    messages,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
    add_generation_prompt=True,
).to(model.device)
input_len = inputs["input_ids"].shape[-1]

output = model.generate(**inputs, max_new_tokens=50, assistant_model=assistant_model)
print(processor.decode(output[0][input_len:], skip_special_tokens=True))

Gemma4AssistantConfig

>>> from transformers import (
>>>     Gemma4AssistantConfig,
>>>     Gemma4AssistantForCausalLM,
>>>     Gemma4TextConfig,
>>> )

>>> # Initializing a Gemma 4 Text config similar to google/gemma-4-e2b-it-assistant.
>>> text_config = Gemma4TextConfig(...)

>>> # Initializing a Gemma 4 Assistant config similar to google/gemma-4-e2b-it-assistant.
>>> configuration = Gemma4AssistantConfig(text_config)

>>> # Initializing a model from the google/gemma-4-e2b-it-assistant configuration.
>>> model = Gemma4AssistantForCausalLM(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

Gemma4AssistantForCausalLM

>>> from transformers import AutoTokenizer, Gemma4AssistantForCausalLM, Gemma4ForCausalLM

>>> model = Gemma4ForCausalLM.from_pretrained("google/gemma-4-e2b-it")
>>> assistant_model = Gemma4AssistantForCausalLM.from_pretrained("google/gemma-4-e2b-it-assistant")
>>> tokenizer = AutoTokenizer.from_pretrained("google/gemma-4-e2b-it")

>>> prompt = "What is your favorite condiment?"
>>> inputs = tokenizer(prompt, return_tensors="pt")

>>> # Generate
>>> generate_ids = model.generate(inputs.input_ids, assistant_model=assistant_model, max_length=30)
>>> tokenizer.batch_decode(generate_ids, skip_special_tokens=True)[0]
"What is your favorite condiment?"