BEiT

الفئة: ViT · الكود: timm/models/beit.py · الهندسات: 7 · الأوزان المُسبقة التدريب: 13 (9 منها بنتائج على ImageNet-1k)

تحويلات الرؤية BEiT وBEiT-v2، مُسبقة التدريب عبر نمذجة الصور المقنّعة. يتنبأ BEiT بالرموز البصرية المنفصلة للبقع المقنّعة، بينما يستخدم BEiT-v2 مُرمّزًا بصريًا مُكمّمًا متجهيًا للأهداف. الأوزان هنا هي أوزان تصنيف مُعدّلة بدقة.

الأوراق البحثية

• BEiT: تدريب مسبق لنموذج BERT لتحويلات الصور
• BEiT v2: نمذجة الصور المقنّعة باستخدام مُرمّزات بصرية مُكمّاة متجهية

الاستخدام

راجع البدء السريع لتحميل الأوزان المُسبقة التدريب ومعالجة الصور مسبقًا وضبط الدقة، وراجع استخراج الميزات لاستخدام النماذج كعمود فقري.

>>> import timm
>>> model = timm.create_model('beit_base_patch16_224.in22k_ft_in22k_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

دعم واجهة برمجة التطبيقات للنماذج

✓ مدعوم، ✓ (مربع) يعمل مع الأحجام المربعة فقط، ✗ غير مدعوم، – غير مطلوب (يقبل النموذج بالفعل أي حجم إدخال). تم التحقق من ذلك بتشغيل كل ميزة على نموذج مُهيأ عشوائياً (Beit مع beit_base_patch16_224 عند 224)، ومن المتوقع أن تتصرف البنى المعمارية الأخرى من نفس الفئة بنفس الطريقة. راجع صفحة Model API للتفاصيل.

البنى

تُحسب قيم GMACs وعدد المعلمات لحجم المدخلات الافتراضي والتصنيف الخاص بكل معمارية، وذلك بناءً على نتائج الاختبارات المرجعية.

الأوزان المُسبقة التدريب

Top-1 هو دقة التحقق على ImageNet-1k من results-imagenet.csv عند حجم التقييم المذكور، - إذا لم يكن للوزن نتيجة على ImageNet-1k (مثل أوزان ما قبل التدريب أو أوزان الصورة-النص). Classes هو حجم المصنِّف المُدرَّب مسبقًا، ولا يوجد شيء للأوزان التي لا تحتوي على مصنِّف.

الاستشهاد

@inproceedings{beit,
title={{BEiT}: {BERT} Pre-Training of Image Transformers},
author={Hangbo Bao and Li Dong and Songhao Piao and Furu Wei},
booktitle={International Conference on Learning Representations},
year={2022},
url={https://openreview.net/forum?id=p-BhZSz59o4}
}

@article{beitv2,
title={{BEiT v2}: Masked Image Modeling with Vector-Quantized Visual Tokenizers},
author={Zhiliang Peng and Li Dong and Hangbo Bao and Qixiang Ye and Furu Wei},
year={2022},
eprint={2208.06366},
archivePrefix={arXiv},
primaryClass={cs.CV}
}