timm documentation

MobileViT

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

MobileViT

类别: Efficient/Mobile · 代码: timm/models/mobilevit.py · 架构: 10 · 预训练权重: 16(16 个具有 ImageNet-1k 结果)

MobileViT 将 MobileNet-V2 的倒置残差块与 MobileViT 块相结合,后者对展开的图像块应用 Transformer 以进行全局处理。MobileViT-V2 使用可分离自注意力。基于 ByobNet 类构建。

论文

用法

请参阅快速入门了解如何加载预训练权重、进行图像预处理和微调,以及查阅特征提取了解如何将模型用作骨干网络。

>>> import timm
>>> model = timm.create_model('mobilevitv2_200.cvnets_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

模型 API 支持

功能ByobNet
features_only=True 特征图✓(步长 2、4、8、16、32)
forward_intermediates()✓
prune_intermediate_layers()✓
任意输入尺寸,无需更改✓
set_input_size()–
dynamic_img_size=True–
set_grad_checkpointing()✓
逐层学习率衰减(group_matcher())✓
reset_classifier()✓

✓ 支持,✓ (square) 仅支持方形尺寸,✗ 不支持,– 无需支持(模型本身已接受任意输入尺寸)。通过在每个功能上运行随机初始化的模型(ByobNet 使用 mobilevit_xxs,尺寸为 256)进行验证,同一类的其他架构预计表现相同。有关详细信息,请参阅 模型 API 页面。

架构

架构参数(M)GMAC输入大小预训练权重
mobilevit_s5.582.032561
mobilevit_xs2.321.052561
mobilevit_xxs1.270.422561
mobilevitv2_0501.370.482561
mobilevitv2_0752.871.052561
mobilevitv2_1004.901.842561
mobilevitv2_1257.482.862561
mobilevitv2_15010.594.092563
mobilevitv2_17514.255.542563
mobilevitv2_20018.457.222563

GMACs 和参数量对应于每种架构的默认输入大小和分类器,数据来自基准测试结果。

预训练权重

Top-1 是 results-imagenet.csv 中在所列评估规模下的 ImageNet-1k 验证准确率,- 表示该权重没有 ImageNet-1k 结果(例如预训练权重或图文权重)。Classes 是预训练分类器的大小,对于没有分类器的权重则为 none。

权重输入大小Top-1(%)评估大小类许可证Hub
mobilevit_s.cvnets_in1k25678.2982561000cvnets-licensetimm
mobilevit_xs.cvnets_in1k25674.6182561000cvnets-licensetimm
mobilevit_xxs.cvnets_in1k25668.9362561000cvnets-licensetimm
mobilevitv2_050.cvnets_in1k25670.1562561000cvnets-licensetimm
mobilevitv2_075.cvnets_in1k25675.6122561000cvnets-licensetimm
mobilevitv2_100.cvnets_in1k25678.0882561000cvnets-licensetimm
mobilevitv2_125.cvnets_in1k25679.6822561000cvnets-licensetimm
mobilevitv2_150.cvnets_in1k25680.3802561000cvnets-licensetimm
mobilevitv2_150.cvnets_in22k_ft_in1k25681.4662561000cvnets-licensetimm
mobilevitv2_150.cvnets_in22k_ft_in1k_38438482.6063841000cvnets-licensetimm
mobilevitv2_175.cvnets_in1k25680.8702561000cvnets-licensetimm
mobilevitv2_175.cvnets_in22k_ft_in1k25681.9502561000cvnets-licensetimm
mobilevitv2_175.cvnets_in22k_ft_in1k_38438482.9203841000cvnets-licensetimm
mobilevitv2_200.cvnets_in1k25681.1482561000cvnets-licensetimm
mobilevitv2_200.cvnets_in22k_ft_in1k25682.3202561000cvnets-licensetimm
mobilevitv2_200.cvnets_in22k_ft_in1k_38438483.4303841000cvnets-licensetimm
Update on GitHub