timm documentation
MobileViT
快速入门
教程
模型页面
模型系列结果
卷积网络
视觉 Transformer
混合卷积 / 注意力网络
高效与移动网络
CPUBoneEdgeNeXtEfficientFormerEfficientFormer-V2EfficientNetEfficientViMEfficientViT(MIT)EfficientViT(MSRA)FasterNetFastViTGhostNetHardCoRe-NASiFormerLowFormerMobileNet-V3MobileViTPP-LCNetV2RepGhostRepViTReXNetSHViTStarNetSwiftFormer
MLP 及其他 token 混合器
多模态模型的视觉编码器
参考
MobileViT
类别: Efficient/Mobile · 代码: timm/models/mobilevit.py · 架构: 10 · 预训练权重: 16(16 个具有 ImageNet-1k 结果)
MobileViT 将 MobileNet-V2 的倒置残差块与 MobileViT 块相结合,后者对展开的图像块应用 Transformer 以进行全局处理。MobileViT-V2 使用可分离自注意力。基于 ByobNet 类构建。
论文
用法
请参阅快速入门了解如何加载预训练权重、进行图像预处理和微调,以及查阅特征提取了解如何将模型用作骨干网络。
>>> import timm
>>> model = timm.create_model('mobilevitv2_200.cvnets_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)模型 API 支持
✓ 支持,✓ (square) 仅支持方形尺寸,✗ 不支持,– 无需支持(模型本身已接受任意输入尺寸)。通过在每个功能上运行随机初始化的模型(ByobNet 使用 mobilevit_xxs,尺寸为 256)进行验证,同一类的其他架构预计表现相同。有关详细信息,请参阅 模型 API 页面。
架构
| 架构 | 参数(M) | GMAC | 输入大小 | 预训练权重 |
|---|---|---|---|---|
mobilevit_s | 5.58 | 2.03 | 256 | 1 |
mobilevit_xs | 2.32 | 1.05 | 256 | 1 |
mobilevit_xxs | 1.27 | 0.42 | 256 | 1 |
mobilevitv2_050 | 1.37 | 0.48 | 256 | 1 |
mobilevitv2_075 | 2.87 | 1.05 | 256 | 1 |
mobilevitv2_100 | 4.90 | 1.84 | 256 | 1 |
mobilevitv2_125 | 7.48 | 2.86 | 256 | 1 |
mobilevitv2_150 | 10.59 | 4.09 | 256 | 3 |
mobilevitv2_175 | 14.25 | 5.54 | 256 | 3 |
mobilevitv2_200 | 18.45 | 7.22 | 256 | 3 |
GMACs 和参数量对应于每种架构的默认输入大小和分类器,数据来自基准测试结果。
预训练权重
Top-1 是 results-imagenet.csv 中在所列评估规模下的 ImageNet-1k 验证准确率,- 表示该权重没有 ImageNet-1k 结果(例如预训练权重或图文权重)。Classes 是预训练分类器的大小,对于没有分类器的权重则为 none。
| 权重 | 输入大小 | Top-1(%) | 评估大小 | 类 | 许可证 | Hub |
|---|---|---|---|---|---|---|
mobilevit_s.cvnets_in1k | 256 | 78.298 | 256 | 1000 | cvnets-license | timm |
mobilevit_xs.cvnets_in1k | 256 | 74.618 | 256 | 1000 | cvnets-license | timm |
mobilevit_xxs.cvnets_in1k | 256 | 68.936 | 256 | 1000 | cvnets-license | timm |
mobilevitv2_050.cvnets_in1k | 256 | 70.156 | 256 | 1000 | cvnets-license | timm |
mobilevitv2_075.cvnets_in1k | 256 | 75.612 | 256 | 1000 | cvnets-license | timm |
mobilevitv2_100.cvnets_in1k | 256 | 78.088 | 256 | 1000 | cvnets-license | timm |
mobilevitv2_125.cvnets_in1k | 256 | 79.682 | 256 | 1000 | cvnets-license | timm |
mobilevitv2_150.cvnets_in1k | 256 | 80.380 | 256 | 1000 | cvnets-license | timm |
mobilevitv2_150.cvnets_in22k_ft_in1k | 256 | 81.466 | 256 | 1000 | cvnets-license | timm |
mobilevitv2_150.cvnets_in22k_ft_in1k_384 | 384 | 82.606 | 384 | 1000 | cvnets-license | timm |
mobilevitv2_175.cvnets_in1k | 256 | 80.870 | 256 | 1000 | cvnets-license | timm |
mobilevitv2_175.cvnets_in22k_ft_in1k | 256 | 81.950 | 256 | 1000 | cvnets-license | timm |
mobilevitv2_175.cvnets_in22k_ft_in1k_384 | 384 | 82.920 | 384 | 1000 | cvnets-license | timm |
mobilevitv2_200.cvnets_in1k | 256 | 81.148 | 256 | 1000 | cvnets-license | timm |
mobilevitv2_200.cvnets_in22k_ft_in1k | 256 | 82.320 | 256 | 1000 | cvnets-license | timm |
mobilevitv2_200.cvnets_in22k_ft_in1k_384 | 384 | 83.430 | 384 | 1000 | cvnets-license | timm |