Hiera

类别： ViT · 代码： timm/models/hiera.py · 架构： 8 · 预训练权重： 16（其中 8 个包含 ImageNet-1k 结果）

Hiera 是一种分层视觉 Transformer，不包含专用模块（卷积、移位窗口、相对位置偏差），而是依赖掩码自编码器（MAE）预训练来学习空间偏差。

论文

用法

请参阅快速入门了解如何加载预训练权重、进行图像预处理和微调，以及查阅特征提取了解如何将模型用作骨干网络。

>>> import timm
>>> model = timm.create_model('hiera_tiny_224.mae_in1k_ft_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

模型 API 支持

功能	`Hiera`
`features_only=True` 特征图	✓（步长 4、8、16、32）
`forward_intermediates()`	✓
`prune_intermediate_layers()`	✓
任意输入尺寸，无需更改	✗
`set_input_size()`	✗
`dynamic_img_size=True`	✗
`set_grad_checkpointing()`	✓
逐层学习率衰减（`group_matcher()`）	✓
`reset_classifier()`	✓

✓ 支持，✓ (square) 仅支持方形尺寸，✗ 不支持，– 无需支持（模型本身已接受任意输入尺寸）。通过在每个功能上运行随机初始化的模型（Hiera 使用 hiera_tiny_224，尺寸为 224）进行验证，预期同一类的其他架构表现相同。详情请参阅 Model API 页面。

架构

架构	参数（M）	GMAC	输入大小	预训练权重
`hiera_base_224`	51.52	9.40	224	2
`hiera_base_abswin_256`	51.27	12.46	256	0
`hiera_base_plus_224`	69.90	12.67	224	2
`hiera_huge_224`	672.78	124.85	224	2
`hiera_large_224`	213.74	40.34	224	2
`hiera_small_224`	35.01	6.42	224	2
`hiera_small_abswin_256`	34.36	8.29	256	4
`hiera_tiny_224`	27.91	4.91	224	2

GMACs 和参数量对应于每种架构的默认输入大小和分类器，数据来自基准测试结果。

预训练权重

Top-1 是 results-imagenet.csv 中在所列评估规模下的 ImageNet-1k 验证准确率，- 表示该权重没有 ImageNet-1k 结果（例如预训练权重或图文权重）。Classes 是预训练分类器的大小，对于没有分类器的权重则为 none。

权重按来源分组：预训练配置中给出的论文或来源，否则为 timm 以外的 Hub 组织，否则为预训练标签的第一部分（architecture.tag）。仅包含单个权重的来源列在 other 下。

mae 标签

权重	输入大小	Top-1（%）	评估大小	类	许可证	Hub
`hiera_base_224.mae`	224	-	-	none	cc-by-nc-4.0	timm
`hiera_base_224.mae_in1k_ft_in1k`	224	84.528	224	1000	cc-by-nc-4.0	timm
`hiera_base_plus_224.mae`	224	-	-	none	cc-by-nc-4.0	timm
`hiera_base_plus_224.mae_in1k_ft_in1k`	224	85.136	224	1000	cc-by-nc-4.0	timm
`hiera_huge_224.mae`	224	-	-	none	cc-by-nc-4.0	timm
`hiera_huge_224.mae_in1k_ft_in1k`	224	86.840	224	1000	cc-by-nc-4.0	timm
`hiera_large_224.mae`	224	-	-	none	cc-by-nc-4.0	timm
`hiera_large_224.mae_in1k_ft_in1k`	224	86.046	224	1000	cc-by-nc-4.0	timm
`hiera_small_224.mae`	224	-	-	none	cc-by-nc-4.0	timm
`hiera_small_224.mae_in1k_ft_in1k`	224	83.888	224	1000	cc-by-nc-4.0	timm
`hiera_tiny_224.mae`	224	-	-	none	cc-by-nc-4.0	timm
`hiera_tiny_224.mae_in1k_ft_in1k`	224	82.826	224	1000	cc-by-nc-4.0	timm

sbb2 标签

权重	输入大小	Top-1（%）	评估大小	类	许可证	Hub
`hiera_small_abswin_256.sbb2_e200_in12k`	256	-	-	11821	apache-2.0	timm
`hiera_small_abswin_256.sbb2_e200_in12k_ft_in1k`	256	84.912	256	1000	apache-2.0	timm
`hiera_small_abswin_256.sbb2_pd_e200_in12k`	256	-	-	11821	apache-2.0	timm
`hiera_small_abswin_256.sbb2_pd_e200_in12k_ft_in1k`	256	84.564	256	1000	apache-2.0	timm

Update on GitHub