EfficientViM

类别： Efficient/Mobile · 代码： timm/models/efficientvim.py · 架构： 8 · 预训练权重： 12（0 个具有 ImageNet-1k 结果）

Efficient Vision Mamba (EfficientViM) 基于 Hidden State Mixer based State Space Duality (HSM-SSD) 层构建，此处使用纯 PyTorch 实现。_dist 模型额外添加了一个蒸馏头。

论文

EfficientViM：基于隐藏状态混合器状态空间对偶的高效视觉 Mamba

用法

请参阅快速入门了解如何加载预训练权重、进行图像预处理和微调，以及查阅特征提取了解如何将模型用作骨干网络。

>>> import timm
>>> model = timm.create_model('efficientvim_m1.e300_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

模型 API 支持

功能	`EfficientViM`	`EfficientViMDistilled`
`features_only=True` 特征图	✓（步长 16、32、64）	✓（步长 16、32、64）
`forward_intermediates()`	✓	✓
`prune_intermediate_layers()`	✓	✓
任意输入尺寸，无需更改	✓	✓
`set_input_size()`	–	–
`dynamic_img_size=True`	–	–
`set_grad_checkpointing()`	✓	✓
逐层学习率衰减（`group_matcher()`）	✓	✓
`reset_classifier()`	✓	✓

✓ 支持，✓ (square) 仅支持方形尺寸，✗ 不支持，– 无需支持（模型本身已接受任意输入尺寸）。通过在每个功能上运行随机初始化的模型（EfficientViM 使用 efficientvim_m1 在 224 上，EfficientViMDistilled 使用 efficientvim_m1_dist 在 224 上）进行验证，同一类的其他架构预计表现相同。有关详细信息，请参阅 Model API 页面。

架构

架构	类	参数（M）	GMAC	输入大小	预训练权重
`efficientvim_m1`	`EfficientViM`	6.68	-	224	2
`efficientvim_m1_dist`	`EfficientViMDistilled`	7.64	-	224	1
`efficientvim_m2`	`EfficientViM`	13.90	-	224	2
`efficientvim_m2_dist`	`EfficientViMDistilled`	15.32	-	224	1
`efficientvim_m3`	`EfficientViM`	16.60	-	224	2
`efficientvim_m3_dist`	`EfficientViMDistilled`	18.18	-	224	1
`efficientvim_m4`	`EfficientViM`	19.61	-	256	2
`efficientvim_m4_dist`	`EfficientViMDistilled`	21.18	-	256	1

GMACs 和参数量对应于每种架构的默认输入大小和分类器，数据来自基准测试结果。

预训练权重

Top-1 是 results-imagenet.csv 中在所列评估规模下的 ImageNet-1k 验证准确率，- 表示该权重没有 ImageNet-1k 结果（例如预训练权重或图文权重）。Classes 是预训练分类器的大小，对于没有分类器的权重则为 none。

权重	输入大小	Top-1（%）	评估大小	类	许可证	Hub
`efficientvim_m1.e300_in1k`	224	-	-	1000	mit	timm
`efficientvim_m1.e450_in1k`	224	-	-	1000	mit	timm
`efficientvim_m1_dist.in1k`	224	-	-	1000	mit	timm
`efficientvim_m2.e300_in1k`	224	-	-	1000	mit	timm
`efficientvim_m2.e450_in1k`	224	-	-	1000	mit	timm
`efficientvim_m2_dist.in1k`	224	-	-	1000	mit	timm
`efficientvim_m3.e300_in1k`	224	-	-	1000	mit	timm
`efficientvim_m3.e450_in1k`	224	-	-	1000	mit	timm
`efficientvim_m3_dist.in1k`	224	-	-	1000	mit	timm
`efficientvim_m4.e300_in1k`	256	-	-	1000	mit	timm
`efficientvim_m4.e450_in1k`	256	-	-	1000	mit	timm
`efficientvim_m4_dist.in1k`	256	-	-	1000	mit	timm

Update on GitHub