Transformers documentation

Janus

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

نُشر هذا النموذج في أوراق HF في 17 أكتوبر 2024، وأُضيف إلى مكتبة Hugging Face Transformers في 17 أبريل 2025.

Janus

نظرة عامة

The Janus Model was originally proposed in Janus: Decoupling Visual Encoding for Unified Multimodal Understanding and Generation by DeepSeek AI team and later refined in Janus-Pro: Unified Multimodal Understanding and Generation with Data and Model Scaling. Janus is a vision-language model that can generate both image and text output, it can also take both images and text as input.

لا يولّد النموذج الصور والنص معاً في تنسيق متناوب. يجب على المستخدم تمرير معامل يحدد ما إذا كان سيولّد نصاً أم صورة.

المستخلص من الورقة الأصلية هو كالتالي:

في هذه الورقة، نعرّف Janus، وهو إطار ذاتي التوليف يوحّد بين الفهم متعدد الوسائط والتوليد. غالبًا ما تعتمد الأبحاث السابقة على مشفّر بصري واحد لكلتا المهمتين، كما في Chameleon. ومع ذلك، نظرًا إلى مستويات حبيبية المعلومات المختلفة التي يتطلبها كلٌّ من الفهم متعدد الوسائط والتوليد، قد يؤدي هذا النهج إلى أداء غير مثالي، لا سيما في الفهم متعدد الوسائط. لمعالجة هذه المشكلة، نفصل الترميز البصري إلى مسارات مستقلة، مع الاستمرار في الاستفادة من معمارية Transformer موحّدة واحدة للمعالجة. لا يخفف هذا الفصل فقط من التعارض بين أدوار المشفّر البصري في الفهم والتوليد، بل يعزز أيضًا مرونة الإطار. على سبيل المثال، يمكن لكلٍّ من مكوّني الفهم متعدد الوسائط والتوليد اختيار طرق الترميز الأنسب لهما بشكل مستقل. تُظهر التجارب أن Janus يتفوّق على النماذج الموحّدة السابقة، ويتساوى أو يتفوّق على أداء النماذج المخصّصة لمهام محددة. إن بساطة Janus ومرونته العالية وفعاليته تجعله مرشحًا قويًا للنماذج الموحّدة متعددة الوسائط من الجيل التالي.

المستخلص من ورقة Janus-Pro المذكورة أعلاه، والتي نُشرت لاحقاً، هو كالتالي:

في هذا العمل، نعرّف Janus-Pro، وهو إصدار متطور من العمل السابق Janus. تحديداً، يدمج Janus-Pro (1) استراتيجية تدريب مُحسّنة (2) بيانات تدريب موسّعة، و(3) توسيع حجم النموذج. بفضل هذه التحسينات، يحقق Janus-Pro تقدماً كبيراً في كلٍّ من الفهم متعدد الوسائط وقدرات اتباع التعليمات من النص إلى الصورة، مع تعزيز استقرار توليد الصور من النص. نأمل أن يلهم هذا العمل مزيداً من الاستكشاف في هذا المجال. الكود والنماذج متاحة علنياً.

تمت مساهمة هذا النموذج من قِبل Yaswanth Gali وHugo Silva. يمكن العثور على الكود الأصلي هنا.

مثال على الاستخدام

استدلال صورة واحدة

فيما يلي مثال على الفهم البصري باستخدام صورة واحدة.

لاحظ أن النموذج تم تدريبه على تنسيق محدد للبرومبتات الخاصة بالدردشة. استخدم processor.apply_chat_template(my_conversation_dict) لتنسيق البرومبتات الخاصة بك بشكل صحيح.


from transformers import JanusForConditionalGeneration, JanusProcessor


model_id = "deepseek-community/Janus-Pro-1B"
# Prepare Input for generation.
messages = [
    {
        "role": "user",
        "content": [
            {'type':'image', 'url': 'http://images.cocodataset.org/val2017/000000039769.jpg'},
            {'type':"text", "text":"What do you see in this image?."}
        ]
    },
]

# Set generation mode to `text` to perform text generation.
processor = JanusProcessor.from_pretrained(model_id)
model = JanusForConditionalGeneration.from_pretrained(model_id,
            device_map="auto")

inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    generation_mode="text",
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device)

output = model.generate(**inputs, max_new_tokens=40,generation_mode='text',do_sample=True)
text = processor.decode(output[0], skip_special_tokens=True)
print(text)

الاستدلال على صور متعددة

يمكن لـ Janus تنفيذ الاستدلال باستخدام عدة صور كمدخلات، حيث يمكن أن تنتمي الصور إلى نفس الموجه أو إلى موجهات مختلفة في الاستدلال المجمّع، حيث يعالج النموذج العديد من المحادثات بالتوازي. إليك كيفية القيام بذلك:


from transformers import JanusForConditionalGeneration, JanusProcessor


model_id = "deepseek-community/Janus-Pro-1B"

image_urls = [
    "http://images.cocodataset.org/val2017/000000039769.jpg",
    "https://www.ilankelman.org/stopsigns/australia.jpg",
    "https://huggingface.co/microsoft/kosmos-2-patch14-224/resolve/main/snowman.jpg"
]

messages = [
    [
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "What’s the difference between"},
                {"type": "image", "url": image_urls[0]},
                {"type": "text", "text": " and "},
                {"type": "image", "url": image_urls[1]}
            ]
        }
    ],
    [
        {
            "role": "user",
            "content": [
                {"type": "image", "url": image_urls[2]},
                {"type": "text", "text": "What do you see in this image?"}
            ]
        }
    ]
]

# Load model and processor
processor = JanusProcessor.from_pretrained(model_id)
model = JanusForConditionalGeneration.from_pretrained(
    model_id, device_map="auto"
)

inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    generation_mode="text",
    tokenize=True,
    padding=True,
    return_dict=True,
    return_tensors="pt"
).to(model.device)

# Generate response
output = model.generate(**inputs, max_new_tokens=40, generation_mode='text', do_sample=False)
text = processor.batch_decode(output, skip_special_tokens=True)
print(text)

توليد الصور من النص

يمكن لـ Janus أيضاً توليد صور بناءً على وصف.

from transformers import JanusForConditionalGeneration, JanusProcessor


# Set generation mode to `image` to prepare inputs for image generation..

model_id = "deepseek-community/Janus-Pro-1B"
processor = JanusProcessor.from_pretrained(model_id)
model = JanusForConditionalGeneration.from_pretrained(model_id,
            device_map="auto")

messages = [
    {
        "role": "user",
        "content": [
            {"type": "text", "text": "A dog running under the rain."},
        ],
     }
]

prompt = processor.apply_chat_template(messages, add_generation_prompt=True)
inputs = processor(text=prompt,generation_mode="image",return_tensors="pt").to(model.device)

# Set num_return_sequence parameter to generate multiple images per prompt.
model.generation_config.num_return_sequences = 2
outputs = model.generate(**inputs,
                         generation_mode="image",
                         do_sample=True,
                         use_cache=True,
                         )
# Perform post-processing on the generated token ids.
decoded_image = model.decode_image_tokens(outputs)
images = processor.postprocess(list(decoded_image.float()),return_tensors="PIL.Image.Image").to(model.device)
# Save the image
for i, image in enumerate(images['pixel_values']):
    image.save(f"result{i}.png")

Transformers

Janus

نظرة عامة

مثال على الاستخدام

استدلال صورة واحدة

الاستدلال على صور متعددة

توليد الصور من النص

JanusConfig

فئة transformers.JanusConfig

JanusVisionConfig

فئة transformers.JanusVisionConfig

JanusVQVAEConfig

فئة transformers.JanusVQVAEConfig

JanusProcessor

فئة transformers.JanusProcessor

__call__

JanusImageProcessor

فئة transformers.JanusImageProcessor

preprocess

JanusImageProcessorPil

فئة transformers.JanusImageProcessorPil

preprocess

JanusVisionModel

فئة transformers.JanusVisionModel

forward

JanusVQVAE

فئة transformers.JanusVQVAE

forward

JanusModel

فئة transformers.JanusModel

forward

get_image_features

JanusForConditionalGeneration

فئة transformers.JanusForConditionalGeneration

forward

call