CrossViT

カテゴリ: ViT · コード: timm/models/crossvit.py · アーキテクチャ: 11 · 事前学習済み重み: 11 (ImageNet-1kの結果付き: 11)

CrossViTは、2つのTransformerブランチで小さな画像パッチと大きな画像パッチを処理し、クラストークンを通じてクロスアテンションでそれらを融合します。timm内のモデル名は、実際の入力解像度（元の224 / 384ではなく240 / 408）を示しています。

論文

• CrossViT: 画像分類のためのクロスアテンション・マルチスケールビジョントランスフォーマー

使用方法

事前学習済み重みの読み込み、画像の前処理、ファインチューニングについてはクイックスタートを、モデルをバックボーンとして使用する方法については特徴量抽出を参照してください。

>>> import timm
>>> model = timm.create_model('crossvit_small_240.in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

モデルAPIのサポート

✓ 対応、✓ (square) 正方形サイズのみ動作、✗ 非対応、– 不要（モデルはすでに任意の入力サイズを受け入れる）。ランダム初期化されたモデル（CrossVit の crossvit_tiny_240 を 240 で）で各機能を実行して確認しています。同じクラスの他のアーキテクチャも同様に動作すると予想されます。詳細は Model API ページを参照してください。

アーキテクチャ

GMACsとパラメータ数は、各アーキテクチャのデフォルトの入力サイズと分類器に基づいており、ベンチマーク結果から得られたものです。

事前学習済み重み

Top-1 は、results-imagenet.csv に記載された評価サイズでの ImageNet-1k 検証精度です。- は、ImageNet-1k の結果がない重み（例: プリトレーニング用または画像-テキスト用重み）を示します。Classes は事前学習済み分類器のサイズで、分類器を持たない重みについては none です。

引用

@inproceedings{
    chen2021crossvit,
    title={{CrossViT: Cross-Attention Multi-Scale Vision Transformer for Image Classification}},
    author={Chun-Fu (Richard) Chen and Quanfu Fan and Rameswar Panda},
    booktitle={International Conference on Computer Vision (ICCV)},
    year={2021}
}