Hiera

カテゴリ: ViT · コード: timm/models/hiera.py · アーキテクチャ: 8 · 事前学習済み重み: 16 (ImageNet-1kの結果を含む8)

Hieraは、特殊なモジュール（畳み込み、シフトウィンドウ、相対位置バイアス）を含まない階層型ビジョントランスフォーマーであり、空間的なバイアスを学習するためにマスクオートエンコーダー（MAE）事前学習に依存しています。

論文

使用方法

事前学習済み重みの読み込み、画像の前処理、ファインチューニングについてはクイックスタートを、モデルをバックボーンとして使用する方法については特徴量抽出を参照してください。

>>> import timm
>>> model = timm.create_model('hiera_tiny_224.mae_in1k_ft_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

モデルAPIのサポート

機能	`Hiera`
`features_only=True` 特徴マップ	✓ (ストライド 4, 8, 16, 32)
`forward_intermediates()`	✓
`prune_intermediate_layers()`	✓
入力サイズは任意で、変更は不要です	✗
`set_input_size()`	✗
`dynamic_img_size=True`	✗
`set_grad_checkpointing()`	✓
レイヤーごとのLR減衰（`group_matcher()`）	✓
`reset_classifier()`	✓

✓ 対応、✓ (square) 正方形サイズのみ対応、✗ 非対応、– 不要（モデルはすでに任意の入力サイズを受け入れる）。各機能をランダムに初期化されたモデル（Hiera、hiera_tiny_224、224）で実行して確認しました。同じクラスの他のアーキテクチャも同様に動作すると考えられます。詳細はModel APIページを参照してください。

アーキテクチャ

アーキテクチャ	パラメータ数 (M)	GMACs	入力サイズ	事前学習済み重み
`hiera_base_224`	51.52	9.40	224	2
`hiera_base_abswin_256`	51.27	12.46	256	0
`hiera_base_plus_224`	69.90	12.67	224	2
`hiera_huge_224`	672.78	124.85	224	2
`hiera_large_224`	213.74	40.34	224	2
`hiera_small_224`	35.01	6.42	224	2
`hiera_small_abswin_256`	34.36	8.29	256	4
`hiera_tiny_224`	27.91	4.91	224	2

GMACsとパラメータ数は、各アーキテクチャのデフォルトの入力サイズと分類器に基づいており、ベンチマーク結果から得られたものです。

事前学習済み重み

Top-1 は、results-imagenet.csv に記載された評価サイズでの ImageNet-1k 検証精度です。- は、ImageNet-1k の結果がない重み（例: プリトレーニング用または画像-テキスト用重み）を示します。Classes は事前学習済み分類器のサイズで、分類器を持たない重みについては none です。

重みはソースごとにグループ化されます。ソースは、事前学習設定で指定されている論文または出典、それ以外の場合はtimm以外の Hub 組織、さらにそれ以外の場合は事前学習タグの最初の部分（architecture.tag）です。重みが 1 つしかないソースは、other にリストされます。

mae タグ

重み	入力サイズ	Top-1 (%)	評価サイズ	クラス	ライセンス	Hub
`hiera_base_224.mae`	224	-	-	なし	cc-by-nc-4.0	timm
`hiera_base_224.mae_in1k_ft_in1k`	224	84.528	224	1000	cc-by-nc-4.0	timm
`hiera_base_plus_224.mae`	224	-	-	なし	cc-by-nc-4.0	timm
`hiera_base_plus_224.mae_in1k_ft_in1k`	224	85.136	224	1000	cc-by-nc-4.0	timm
`hiera_huge_224.mae`	224	-	-	なし	cc-by-nc-4.0	timm
`hiera_huge_224.mae_in1k_ft_in1k`	224	86.840	224	1000	cc-by-nc-4.0	timm
`hiera_large_224.mae`	224	-	-	なし	cc-by-nc-4.0	timm
`hiera_large_224.mae_in1k_ft_in1k`	224	86.046	224	1000	cc-by-nc-4.0	timm
`hiera_small_224.mae`	224	-	-	なし	cc-by-nc-4.0	timm
`hiera_small_224.mae_in1k_ft_in1k`	224	83.888	224	1000	cc-by-nc-4.0	timm
`hiera_tiny_224.mae`	224	-	-	なし	cc-by-nc-4.0	timm
`hiera_tiny_224.mae_in1k_ft_in1k`	224	82.826	224	1000	cc-by-nc-4.0	timm

sbb2 タグ

重み	入力サイズ	Top-1 (%)	評価サイズ	クラス	ライセンス	Hub
`hiera_small_abswin_256.sbb2_e200_in12k`	256	-	-	11821	apache-2.0	timm
`hiera_small_abswin_256.sbb2_e200_in12k_ft_in1k`	256	84.912	256	1000	apache-2.0	timm
`hiera_small_abswin_256.sbb2_pd_e200_in12k`	256	-	-	11821	apache-2.0	timm
`hiera_small_abswin_256.sbb2_pd_e200_in12k_ft_in1k`	256	84.564	256	1000	apache-2.0	timm

Update on GitHub