timm documentation
MLP-Mixer、ResMLPおよびgMLP
MLP-Mixer、ResMLPおよびgMLP
カテゴリ: MLP · コード: timm/models/mlp_mixer.py · アーキテクチャ: 15 · 事前学習済み重み: 19 (ImageNet-1kの結果を含むものが14)
パッチ間でトークンミキシングとチャネルミキシングを交互に行うAll-MLPアーキテクチャ: MLP-Mixer、ResMLP、gMLP(空間投影によるゲーティング)。モジュールのドキュメント文字列には、gMLPの実装は検証されていないと記載されています。
論文
- MLP-Mixer: ビジョンのための全MLPアーキテクチャ
- ResMLP: データ効率の高い学習による画像分類のためのフィードフォワードネットワーク
- MLPに注目する
- ImageNet-21Kによる事前学習をより多くの人に
- 自己教師ありVision Transformerにおける顕在化する特性
使用方法
事前学習済み重みの読み込み、画像の前処理、ファインチューニングについてはクイックスタートを、モデルをバックボーンとして使用する方法については特徴量抽出を参照してください。
>>> import timm
>>> model = timm.create_model('gmixer_24_224.ra3_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)モデルAPIのサポート
✓ 対応、✓ (square) 正方形サイズのみ動作、✗ 非対応、– 不要(モデルはすでに任意の入力サイズを受け入れる)。各機能をランダム初期化されたモデル(224のMlpMixerとgmlp_ti16_224)で実行して確認しました。同じクラスの他のアーキテクチャも同様に動作すると予想されます。詳細はModel APIページを参照してください。
アーキテクチャ
| アーキテクチャ | パラメータ数 (M) | GMACs | 入力サイズ | 事前学習済み重み |
|---|---|---|---|---|
gmixer_12_224 | 12.70 | 2.67 | 224 | 0 |
gmixer_24_224 | 24.72 | 5.28 | 224 | 1 |
gmlp_b16_224 | 73.08 | 15.78 | 224 | 0 |
gmlp_s16_224 | 19.42 | 4.42 | 224 | 1 |
gmlp_ti16_224 | 5.87 | 1.34 | 224 | 0 |
mixer_b16_224 | 59.88 | 12.62 | 224 | 4 |
mixer_b32_224 | 60.29 | 3.24 | 224 | 0 |
mixer_l16_224 | 208.20 | 44.60 | 224 | 2 |
mixer_l32_224 | 206.94 | 11.27 | 224 | 0 |
mixer_s16_224 | 18.53 | 3.79 | 224 | 0 |
mixer_s32_224 | 19.10 | 1.00 | 224 | 0 |
resmlp_12_224 | 15.35 | 3.01 | 224 | 3 |
resmlp_24_224 | 30.02 | 5.96 | 224 | 3 |
resmlp_36_224 | 44.69 | 8.91 | 224 | 2 |
resmlp_big_24_224 | 129.14 | 100.23 | 224 | 3 |
GMACsとパラメータ数は、各アーキテクチャのデフォルトの入力サイズと分類器に基づいており、ベンチマーク結果から得られたものです。
事前学習済み重み
Top-1 は、results-imagenet.csv に記載された評価サイズでの ImageNet-1k 検証精度です。- は、ImageNet-1k の結果がない重み(例: プリトレーニング用または画像-テキスト用重み)を示します。Classes は事前学習済み分類器のサイズで、分類器を持たない重みについては none です。
重みはソースごとにグループ化されます。ソースは、事前学習設定で指定されている論文または出典、それ以外の場合はtimm以外の Hub 組織、さらにそれ以外の場合は事前学習タグの最初の部分(architecture.tag)です。重みが 1 つしかないソースは、other にリストされます。
fb タグ
| 重み | 入力サイズ | Top-1 (%) | 評価サイズ | クラス | ライセンス | Hub |
|---|---|---|---|---|---|---|
resmlp_12_224.fb_dino | 224 | - | - | 1000 | apache-2.0 | timm |
resmlp_12_224.fb_distilled_in1k | 224 | 77.948 | 224 | 1000 | apache-2.0 | timm |
resmlp_12_224.fb_in1k | 224 | 76.660 | 224 | 1000 | apache-2.0 | timm |
resmlp_24_224.fb_dino | 224 | - | - | 1000 | apache-2.0 | timm |
resmlp_24_224.fb_distilled_in1k | 224 | 80.766 | 224 | 1000 | apache-2.0 | timm |
resmlp_24_224.fb_in1k | 224 | 79.380 | 224 | 1000 | apache-2.0 | timm |
resmlp_36_224.fb_distilled_in1k | 224 | 81.150 | 224 | 1000 | apache-2.0 | timm |
resmlp_36_224.fb_in1k | 224 | 79.772 | 224 | 1000 | apache-2.0 | timm |
resmlp_big_24_224.fb_distilled_in1k | 224 | 83.594 | 224 | 1000 | apache-2.0 | timm |
resmlp_big_24_224.fb_in1k | 224 | 81.034 | 224 | 1000 | apache-2.0 | timm |
resmlp_big_24_224.fb_in22k_ft_in1k | 224 | 84.414 | 224 | 1000 | apache-2.0 | timm |
goog タグ
| 重み | 入力サイズ | Top-1 (%) | 評価サイズ | クラス | ライセンス | Hub |
|---|---|---|---|---|---|---|
mixer_b16_224.goog_in21k | 224 | - | - | 21843 | apache-2.0 | timm |
mixer_b16_224.goog_in21k_ft_in1k | 224 | 76.616 | 224 | 1000 | apache-2.0 | timm |
mixer_l16_224.goog_in21k | 224 | - | - | 21843 | apache-2.0 | timm |
mixer_l16_224.goog_in21k_ft_in1k | 224 | 72.084 | 224 | 1000 | apache-2.0 | timm |
miil タグ
| 重み | 入力サイズ | Top-1 (%) | 評価サイズ | クラス | ライセンス | Hub |
|---|---|---|---|---|---|---|
mixer_b16_224.miil_in21k | 224 | - | - | 11221 | apache-2.0 | timm |
mixer_b16_224.miil_in21k_ft_in1k | 224 | 82.314 | 224 | 1000 | apache-2.0 | timm |
ra3 タグ
| 重み | 入力サイズ | Top-1 (%) | 評価サイズ | クラス | ライセンス | Hub |
|---|---|---|---|---|---|---|
gmixer_24_224.ra3_in1k | 224 | 78.048 | 224 | 1000 | apache-2.0 | timm |
gmlp_s16_224.ra3_in1k | 224 | 79.652 | 224 | 1000 | apache-2.0 | timm |
引用
@article{tolstikhin2021,
title={MLP-Mixer: An all-MLP Architecture for Vision},
author={Tolstikhin, Ilya and Houlsby, Neil and Kolesnikov, Alexander and Beyer, Lucas and Zhai, Xiaohua and Unterthiner,
Thomas and Yung, Jessica and Keysers, Daniel and Uszkoreit, Jakob and Lucic, Mario and Dosovitskiy, Alexey},
journal={arXiv preprint arXiv:2105.01601},
year={2021}
}
@misc{touvron2021resmlp,
title={ResMLP: Feedforward networks for image classification with data-efficient training},
author={Hugo Touvron and Piotr Bojanowski and Mathilde Caron and Matthieu Cord and Alaaeldin El-Nouby and
Edouard Grave and Armand Joulin and Gabriel Synnaeve and Jakob Verbeek and Hervé Jégou},
year={2021},
eprint={2105.03404},
}
@misc{liu2021pay,
title={Pay Attention to MLPs},
author={Hanxiao Liu and Zihang Dai and David R. So and Quoc V. Le},
year={2021},
eprint={2105.08050},
}