timm documentation

Kebun

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Kebun

Kategori: ViT · Kode: timm/models/twins.py · Arsitektur: 6 · Bobot terlatih: 6 (6 dengan hasil ImageNet-1k)

Twins-PCPVT (Pyramid Vision Transformer dengan pengkodean posisi kondisional) dan Twins-SVT (self-attention yang dapat dipisahkan secara spasial, perhatian yang dikelompokkan secara lokal yang bergantian dengan perhatian global yang disub-sampling).

Makalah

Penggunaan

Lihat Quickstart untuk memuat bobot terlatih, prapemrosesan gambar, dan penyesuaian halus, serta Ekstraksi Fitur untuk menggunakan model sebagai tulang punggung.

>>> import timm
>>> model = timm.create_model('twins_pcpvt_small.in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

Dukungan API Model

FiturTwins
feature maps features_only=True✓ (strides 4, 8, 16, 32)
forward_intermediates()✓
prune_intermediate_layers()✓
Ukuran input apa pun, tidak perlu perubahan✓
set_input_size()–
dynamic_img_size=True–
set_grad_checkpointing()✗
Penurunan LR per lapisan (group_matcher())✓
reset_classifier()✓

✓ didukung, ✓ (persegi) hanya berfungsi untuk ukuran persegi, ✗ tidak didukung, – tidak diperlukan (model sudah menerima ukuran input apa pun). Diperiksa dengan menjalankan setiap fitur pada model yang diinisialisasi secara acak (Twins dengan twins_svt_small pada 224), arsitektur lain dari kelas yang sama diharapkan berperilaku sama. Lihat halaman Model API untuk detailnya.

Arsitektur

ArsitekturParameter (M)GMACsUkuran inputBobot terlatih
twins_pcpvt_base43.836.682241
twins_pcpvt_large60.999.842241
twins_pcpvt_small24.113.832241
twins_svt_base56.078.592241
twins_svt_large99.2715.152241
twins_svt_small24.062.942241

GMACs dan jumlah parameter adalah untuk ukuran input dan klasifer default dari setiap arsitektur, dari hasil benchmark.

Bobot terlatih

Top-1 adalah akurasi validasi ImageNet-1k dari results-imagenet.csv pada ukuran eval yang tercantum, - jika bobot tidak memiliki hasil ImageNet-1k (misalnya bobot pretraining atau image-text). Classes adalah ukuran dari classifier pretrained, none untuk bobot yang tidak memilikinya.

BobotUkuran inputTop-1 (%)Ukuran evaluasiKelasLisensiHub
twins_pcpvt_base.in1k22482.7242241000apache-2.0timm
twins_pcpvt_large.in1k22483.1582241000apache-2.0timm
twins_pcpvt_small.in1k22481.1162241000apache-2.0timm
twins_svt_base.in1k22483.1222241000apache-2.0timm
twins_svt_large.in1k22483.7182241000apache-2.0timm
twins_svt_small.in1k22481.6942241000apache-2.0timm
Update on GitHub