MLP-Mixer, ResMLP e gMLP

Categoria: MLP · Código: timm/models/mlp_mixer.py · Arquiteturas: 15 · Pesos pré-treinados: 19 (14 com resultados no ImageNet-1k)

Arquiteturas All-MLP que alternam a mistura de tokens entre patches com a mistura de canais: MLP-Mixer, ResMLP e gMLP (gating com uma projeção espacial). O docstring do módulo observa que a implementação do gMLP não é verificada.

Artigos

• MLP-Mixer: Uma arquitetura totalmente MLP para visão
• ResMLP: Redes feedforward para classificação de imagens com treinamento eficiente em dados
• Atenção aos MLPs
• Pré-treinamento no ImageNet-21K para todos
• Propriedades Emergentes em Vision Transformers Auto-supervisionados

Uso

Veja o Início rápido para carregar pesos pré-treinados, pré-processar imagens e fazer fine-tuning, e Extração de recursos para usar os modelos como backbones.

>>> import timm
>>> model = timm.create_model('gmixer_24_224.ra3_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

Suporte à API de modelos

✓ suportado, ✓ (quadrado) funciona apenas para tamanhos quadrados, ✗ não suportado, – não necessário (o modelo já aceita qualquer tamanho de entrada). Verificado executando cada recurso em um modelo inicializado aleatoriamente (MlpMixer com gmlp_ti16_224 em 224); espera-se que outras arquiteturas da mesma classe se comportem da mesma forma. Consulte a página Model API para mais detalhes.

Arquiteturas

Os GMACs e as contagens de parâmetros são para o tamanho de entrada e o classificador padrão de cada arquitetura, dos resultados do benchmark.

Pesos pré-treinados

Top-1 é a acurácia de validação no ImageNet-1k de results-imagenet.csv no tamanho de avaliação listado, - se o peso não tiver resultado no ImageNet-1k (por exemplo, pesos de pré-treinamento ou de imagem-texto). Classes é o tamanho do classificador pré-treinado, nenhum para pesos sem um.

Os pesos são agrupados por origem: o artigo ou origem indicado na configuração pré-treinada, caso contrário, uma organização do Hub diferente de timm, caso contrário, a primeira parte da tag pré-treinada (architecture.tag). As origens com um único peso são listadas em other.

tags do fb

goog tags

tags miil

ra3 tags

Citação

@article{tolstikhin2021,
  title={MLP-Mixer: An all-MLP Architecture for Vision},
  author={Tolstikhin, Ilya and Houlsby, Neil and Kolesnikov, Alexander and Beyer, Lucas and Zhai, Xiaohua and Unterthiner,
        Thomas and Yung, Jessica and Keysers, Daniel and Uszkoreit, Jakob and Lucic, Mario and Dosovitskiy, Alexey},
  journal={arXiv preprint arXiv:2105.01601},
  year={2021}
}

@misc{touvron2021resmlp,
      title={ResMLP: Feedforward networks for image classification with data-efficient training},
      author={Hugo Touvron and Piotr Bojanowski and Mathilde Caron and Matthieu Cord and Alaaeldin El-Nouby and
        Edouard Grave and Armand Joulin and Gabriel Synnaeve and Jakob Verbeek and Hervé Jégou},
      year={2021},
      eprint={2105.03404},
}

@misc{liu2021pay,
      title={Pay Attention to MLPs},
      author={Hanxiao Liu and Zihang Dai and David R. So and Quoc V. Le},
      year={2021},
      eprint={2105.08050},
}