HieraDet (SAM 2)

الفئة: ViT · الكود: timm/models/hieradet_sam2.py · الهندسات: 5 · الأوزان المُسبقة التدريب: 8 (0 منها بنتائج ImageNet-1k)

HieraDet، وهو مُرمِّز الصور المستند إلى Hiera في Segment Anything 2 (SAM 2)، مع انتباه نافذ ومُضمّنات مواقع نافذة.

الأوراق البحثية

الاستخدام

راجع البدء السريع لتحميل الأوزان المُسبقة التدريب ومعالجة الصور مسبقًا وضبط الدقة، وراجع استخراج الميزات لاستخدام النماذج كعمود فقري.

>>> import timm
>>> model = timm.create_model('sam2_hiera_base_plus.fb_r896', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

دعم واجهة برمجة التطبيقات للنماذج

ميزة	`HieraDet`
خرائط الميزات `features_only=True`	✓ (خطوات 4، 8، 16، 32)
`forward_intermediates()`	✓
`prune_intermediate_layers()`	✓
أي حجم إدخال، دون الحاجة إلى أي تغييرات	✓
`set_input_size()`	–
`dynamic_img_size=True`	–
`set_grad_checkpointing()`	✓
تلاشي معدل التعلم على مستوى الطبقات (`group_matcher()`)	✓
`reset_classifier()`	✓

✓ مدعوم، ✓ (مربع) يعمل مع الأحجام المربعة فقط، ✗ غير مدعوم، – غير مطلوب (يقبل النموذج بالفعل أي حجم إدخال). تم التحقق من ذلك بتشغيل كل ميزة على نموذج مُهيأ عشوائيًا (HieraDet مع sam2_hiera_tiny عند 256)، ومن المتوقع أن تتصرف البنى المعمارية الأخرى من نفس الفئة بنفس الطريقة. راجع صفحة Model API للتفاصيل.

البنى

البنية	المعاملات (مليون)	GMACs	حجم الإدخال	الأوزان المُسبقة التدريب
`hieradet_small`	34.73	8.51	256	0
`sam2_hiera_base_plus`	68.68	227.48	896	2
`sam2_hiera_large`	212.15	907.48	1024	2
`sam2_hiera_small`	33.95	123.99	896	2
`sam2_hiera_tiny`	26.85	99.86	896	2

تُحسب قيم GMACs وعدد المعلمات لحجم المدخلات الافتراضي والتصنيف الخاص بكل معمارية، وذلك بناءً على نتائج الاختبارات المرجعية.

الأوزان المُسبقة التدريب

Top-1 هو دقة التحقق على ImageNet-1k من results-imagenet.csv عند حجم التقييم المذكور، - إذا لم يكن للوزن نتيجة على ImageNet-1k (مثل أوزان ما قبل التدريب أو أوزان الصورة-النص). Classes هو حجم المصنِّف المُدرَّب مسبقًا، ولا يوجد شيء للأوزان التي لا تحتوي على مصنِّف.

الوزن	حجم الإدخال	أعلى 1 (%)	حجم التقييم	فئات	رخصة	المركز
`sam2_hiera_base_plus.fb_r896`	896	-	-	none	apache-2.0	timm
`sam2_hiera_base_plus.fb_r896_2pt1`	896	-	-	none	apache-2.0	timm
`sam2_hiera_large.fb_r1024`	1024	-	-	none	apache-2.0	timm
`sam2_hiera_large.fb_r1024_2pt1`	1024	-	-	none	apache-2.0	timm
`sam2_hiera_small.fb_r896`	896	-	-	none	apache-2.0	timm
`sam2_hiera_small.fb_r896_2pt1`	896	-	-	none	apache-2.0	timm
`sam2_hiera_tiny.fb_r896`	896	-	-	none	apache-2.0	timm
`sam2_hiera_tiny.fb_r896_2pt1`	896	-	-	none	apache-2.0	timm

Update on GitHub