timm documentation

VOLO

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

VOLO

类别: ViT · 代码: timm/models/volo.py · 架构: 11 · 预训练权重: 11(11 个包含 ImageNet-1k 结果)

Vision Outlooker (VOLO) 在操作更粗粒度 token 的 transformer 阶段之前,添加了 outlook attention,用于编码来自局部邻域的细粒度特征。

论文

用法

请参阅快速入门了解如何加载预训练权重、进行图像预处理和微调,以及查阅特征提取了解如何将模型用作骨干网络。

>>> import timm
>>> model = timm.create_model('volo_d1_224.sail_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

模型 API 支持

功能VOLO
features_only=True 特征图✓(strides 16, 16, 16)
forward_intermediates()✓
prune_intermediate_layers()✓
任意输入尺寸,无需更改✗
set_input_size()✗
dynamic_img_size=True✗
set_grad_checkpointing()✓
逐层学习率衰减(group_matcher())✓
reset_classifier()✓

✓ 支持,✓ (square) 仅支持方形尺寸,✗ 不支持,– 无需支持(该模型本身已接受任意输入尺寸)。通过在每个功能上运行随机初始化的模型(VOLO 使用 volo_d1_224,尺寸为 224)进行验证,预期同一类的其他架构表现相同。详情请参阅 Model API 页面。

架构

架构参数(M)GMAC输入大小预训练权重
volo_d1_22426.636.942241
volo_d1_38426.7822.753841
volo_d2_22458.6814.342241
volo_d2_38458.8746.173841
volo_d3_22486.3320.782241
volo_d3_44886.6396.334481
volo_d4_224192.9644.342241
volo_d4_448193.41197.134481
volo_d5_224295.4672.402241
volo_d5_448295.91315.064481
volo_d5_512296.09425.095121

GMACs 和参数量对应于每种架构的默认输入大小和分类器,数据来自基准测试结果。

预训练权重

Top-1 是 results-imagenet.csv 中在所列评估规模下的 ImageNet-1k 验证准确率,- 表示该权重没有 ImageNet-1k 结果(例如预训练权重或图文权重)。Classes 是预训练分类器的大小,对于没有分类器的权重则为 none。

权重输入大小Top-1(%)评估大小类许可证Hub
volo_d1_224.sail_in1k22484.1482241000apache-2.0timm
volo_d1_384.sail_in1k38485.2623841000apache-2.0timm
volo_d2_224.sail_in1k22485.2042241000apache-2.0timm
volo_d2_384.sail_in1k38486.0543841000apache-2.0timm
volo_d3_224.sail_in1k22485.4402241000apache-2.0timm
volo_d3_448.sail_in1k44886.5144481000apache-2.0timm
volo_d4_224.sail_in1k22485.8682241000apache-2.0timm
volo_d4_448.sail_in1k44886.7884481000apache-2.0timm
volo_d5_224.sail_in1k22486.0762241000apache-2.0timm
volo_d5_448.sail_in1k44886.9744481000apache-2.0timm
volo_d5_512.sail_in1k51287.0685121000apache-2.0timm
Update on GitHub