ConvNeXt

Категория: CNN · Код: timm/models/convnext.py · Архитектуры: 31 · Предобученные веса: 101 (61 с результатами на ImageNet-1k)

ConvNeXt — это чисто свёрточная сеть, которая использует решения, заимствованные у трансформеров для компьютерного зрения, такие как большие глубинные ядра, инвертированные бутылочные горлышки и LayerNorm. ConvNeXt-V2 добавляет Global Response Normalization (GRN) и обучается как полностью свёрточный автоэнкодер с маскированием (FCMAE).

Статьи

• ConvNet для 2020-х
• ConvNeXt V2: совместное проектирование и масштабирование ConvNet с использованием маскированных автоэнкодеров
• Воспроизводимые законы масштабирования для контрастного обучения языку и изображениям
• DINOv3
• Эффективный универсальный кодировщик восприятия

Использование

См. раздел Быстрый старт для загрузки предобученных весов, предобработки изображений и дообучения, а также раздел Извлечение признаков для использования моделей в качестве базовых архитектур.

>>> import timm
>>> model = timm.create_model('convnext_tiny.in12k_ft_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

Поддержка Model API

✓ поддерживается, ✓ (квадрат) работает только для квадратных размеров, ✗ не поддерживается, – не требуется (модель уже принимает входные данные любого размера). Проверено путём запуска каждой функции на случайно инициализированной модели (ConvNeXt с convnext_zepto_rms при 224), ожидается, что другие архитектуры того же класса будут вести себя аналогично. Подробности см. на странице Model API.

Архитектуры

GMACs и количество параметров указаны для размера входных данных и классификатора по умолчанию для каждой архитектуры, согласно результатам бенчмарков.

Предобученные веса

Top-1 — это точность на валидационном наборе ImageNet-1k из results-imagenet.csv для указанного размера оценки, - если для весов нет результата ImageNet-1k (например, веса для предобучения или изображения-текст). Classes — размер предобученного классификатора, none для весов без классификатора.

Веса группируются по источнику: статья или происхождение, указанные в конфигурации предобученной модели, иначе организация на Hugging Face, отличная от timm, иначе первая часть тега предобученной модели (architecture.tag). Источники с одним весом перечислены в разделе other.

ConvNeXt V2

Предобученные конфигурации ссылаются на ConvNeXt V2: совместное проектирование и масштабирование свёрточных сетей с использованием замаскированных автоэнкодеров.

теги клипов

fb tags

d1 теги

dinov3 теги

eupe tags

d1h теги

теги ra4

Другое

Цитирование

@Article{liu2022convnet,
  author  = {Zhuang Liu and Hanzi Mao and Chao-Yuan Wu and Christoph Feichtenhofer and Trevor Darrell and Saining Xie},
  title   = {A ConvNet for the 2020s},
  journal = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  year    = {2022},
}

@article{Woo2023ConvNeXtV2,
  title={ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders},
  author={Sanghyun Woo, Shoubhik Debnath, Ronghang Hu, Xinlei Chen, Zhuang Liu, In So Kweon and Saining Xie},
  year={2023},
  journal={arXiv preprint arXiv:2301.00808},
}