timm documentation

MLP-Mixer、ResMLPおよびgMLP

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

MLP-Mixer、ResMLPおよびgMLP

カテゴリ: MLP · コード: timm/models/mlp_mixer.py · アーキテクチャ: 15 · 事前学習済み重み: 19 (ImageNet-1kの結果を含むものが14)

パッチ間でトークンミキシングとチャネルミキシングを交互に行うAll-MLPアーキテクチャ: MLP-Mixer、ResMLP、gMLP(空間投影によるゲーティング)。モジュールのドキュメント文字列には、gMLPの実装は検証されていないと記載されています。

論文

使用方法

事前学習済み重みの読み込み、画像の前処理、ファインチューニングについてはクイックスタートを、モデルをバックボーンとして使用する方法については特徴量抽出を参照してください。

>>> import timm
>>> model = timm.create_model('gmixer_24_224.ra3_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

モデルAPIのサポート

機能MlpMixer
features_only=True 特徴マップ✓ (strides 16, 16, 16)
forward_intermediates()✓
prune_intermediate_layers()✓
入力サイズは任意で、変更は不要です✗
set_input_size()✗
dynamic_img_size=True✗
set_grad_checkpointing()✓
レイヤーごとのLR減衰(group_matcher())✓
reset_classifier()✓

✓ 対応、✓ (square) 正方形サイズのみ動作、✗ 非対応、– 不要(モデルはすでに任意の入力サイズを受け入れる)。各機能をランダム初期化されたモデル(224のMlpMixerとgmlp_ti16_224)で実行して確認しました。同じクラスの他のアーキテクチャも同様に動作すると予想されます。詳細はModel APIページを参照してください。

アーキテクチャ

アーキテクチャパラメータ数 (M)GMACs入力サイズ事前学習済み重み
gmixer_12_22412.702.672240
gmixer_24_22424.725.282241
gmlp_b16_22473.0815.782240
gmlp_s16_22419.424.422241
gmlp_ti16_2245.871.342240
mixer_b16_22459.8812.622244
mixer_b32_22460.293.242240
mixer_l16_224208.2044.602242
mixer_l32_224206.9411.272240
mixer_s16_22418.533.792240
mixer_s32_22419.101.002240
resmlp_12_22415.353.012243
resmlp_24_22430.025.962243
resmlp_36_22444.698.912242
resmlp_big_24_224129.14100.232243

GMACsとパラメータ数は、各アーキテクチャのデフォルトの入力サイズと分類器に基づいており、ベンチマーク結果から得られたものです。

事前学習済み重み

Top-1 は、results-imagenet.csv に記載された評価サイズでの ImageNet-1k 検証精度です。- は、ImageNet-1k の結果がない重み(例: プリトレーニング用または画像-テキスト用重み)を示します。Classes は事前学習済み分類器のサイズで、分類器を持たない重みについては none です。

重みはソースごとにグループ化されます。ソースは、事前学習設定で指定されている論文または出典、それ以外の場合はtimm以外の Hub 組織、さらにそれ以外の場合は事前学習タグの最初の部分(architecture.tag)です。重みが 1 つしかないソースは、other にリストされます。

fb タグ

重み入力サイズTop-1 (%)評価サイズクラスライセンスHub
resmlp_12_224.fb_dino224--1000apache-2.0timm
resmlp_12_224.fb_distilled_in1k22477.9482241000apache-2.0timm
resmlp_12_224.fb_in1k22476.6602241000apache-2.0timm
resmlp_24_224.fb_dino224--1000apache-2.0timm
resmlp_24_224.fb_distilled_in1k22480.7662241000apache-2.0timm
resmlp_24_224.fb_in1k22479.3802241000apache-2.0timm
resmlp_36_224.fb_distilled_in1k22481.1502241000apache-2.0timm
resmlp_36_224.fb_in1k22479.7722241000apache-2.0timm
resmlp_big_24_224.fb_distilled_in1k22483.5942241000apache-2.0timm
resmlp_big_24_224.fb_in1k22481.0342241000apache-2.0timm
resmlp_big_24_224.fb_in22k_ft_in1k22484.4142241000apache-2.0timm

goog タグ

重み入力サイズTop-1 (%)評価サイズクラスライセンスHub
mixer_b16_224.goog_in21k224--21843apache-2.0timm
mixer_b16_224.goog_in21k_ft_in1k22476.6162241000apache-2.0timm
mixer_l16_224.goog_in21k224--21843apache-2.0timm
mixer_l16_224.goog_in21k_ft_in1k22472.0842241000apache-2.0timm

miil タグ

重み入力サイズTop-1 (%)評価サイズクラスライセンスHub
mixer_b16_224.miil_in21k224--11221apache-2.0timm
mixer_b16_224.miil_in21k_ft_in1k22482.3142241000apache-2.0timm

ra3 タグ

重み入力サイズTop-1 (%)評価サイズクラスライセンスHub
gmixer_24_224.ra3_in1k22478.0482241000apache-2.0timm
gmlp_s16_224.ra3_in1k22479.6522241000apache-2.0timm

引用

@article{tolstikhin2021,
  title={MLP-Mixer: An all-MLP Architecture for Vision},
  author={Tolstikhin, Ilya and Houlsby, Neil and Kolesnikov, Alexander and Beyer, Lucas and Zhai, Xiaohua and Unterthiner,
        Thomas and Yung, Jessica and Keysers, Daniel and Uszkoreit, Jakob and Lucic, Mario and Dosovitskiy, Alexey},
  journal={arXiv preprint arXiv:2105.01601},
  year={2021}
}

@misc{touvron2021resmlp,
      title={ResMLP: Feedforward networks for image classification with data-efficient training},
      author={Hugo Touvron and Piotr Bojanowski and Mathilde Caron and Matthieu Cord and Alaaeldin El-Nouby and
        Edouard Grave and Armand Joulin and Gabriel Synnaeve and Jakob Verbeek and Hervé Jégou},
      year={2021},
      eprint={2105.03404},
}

@misc{liu2021pay,
      title={Pay Attention to MLPs},
      author={Hanxiao Liu and Zihang Dai and David R. So and Quoc V. Le},
      year={2021},
      eprint={2105.08050},
}
Update on GitHub