timm documentation

EfficientViM

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

EfficientViM

Categoría: Efficient/Mobile · Código: timm/models/efficientvim.py · Arquitecturas: 8 · Pesos preentrenados: 12 (0 con resultados en ImageNet-1k)

Efficient Vision Mamba (EfficientViM) se basa en la capa Hidden State Mixer based State Space Duality (HSM-SSD), implementada aquí en PyTorch puro. Los modelos _dist añaden una cabeza de destilación.

Papers

Uso

Consulte la Introducción rápida para cargar pesos preentrenados, preprocesar imágenes y realizar el ajuste fino, y Extracción de características para usar los modelos como columnas verticales.

>>> import timm
>>> model = timm.create_model('efficientvim_m1.e300_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

Soporte de la API de modelos

CaracterísticaEfficientViMEfficientViMDistilled
mapas de características de features_only=True✓ (pasos 16, 32, 64)✓ (pasos 16, 32, 64)
forward_intermediates()✓✓
prune_intermediate_layers()✓✓
Cualquier tamaño de entrada, no se necesitan cambios✓✓
set_input_size()––
dynamic_img_size=True––
set_grad_checkpointing()✓✓
Decaimiento del LR por capa (group_matcher())✓✓
reset_classifier()✓✓

✓ compatible, ✓ (cuadrado) funciona solo para tamaños cuadrados, ✗ no compatible, – no necesario (el modelo ya acepta cualquier tamaño de entrada). Verificado ejecutando cada función en un modelo inicializado aleatoriamente (EfficientViM con efficientvim_m1 en 224, EfficientViMDistilled con efficientvim_m1_dist en 224); se espera que otras arquitecturas de la misma clase se comporten de la misma manera. Consulte la página Model API para más detalles.

Arquitecturas

ArquitecturaClaseParámetros (M)GMACsTamaño de entradaPesos preentrenados
efficientvim_m1EfficientViM6.68-2242
efficientvim_m1_distEfficientViMDistilled7.64-2241
efficientvim_m2EfficientViM13.90-2242
efficientvim_m2_distEfficientViMDistilled15.32-2241
efficientvim_m3EfficientViM16.60-2242
efficientvim_m3_distEfficientViMDistilled18.18-2241
efficientvim_m4EfficientViM19.61-2562
efficientvim_m4_distEfficientViMDistilled21.18-2561

Los GMAC y el número de parámetros corresponden al tamaño de entrada y al clasificador predeterminados de cada arquitectura, según los resultados de las pruebas de rendimiento.

Pesos preentrenados

Top-1 es la precisión de validación en ImageNet-1k desde results-imagenet.csv en el tamaño de evaluación indicado, - si el peso no tiene un resultado de ImageNet-1k (p. ej. pesos de preentrenamiento o de imagen-texto). Classes es el tamaño del clasificador preentrenado, ninguno para pesos sin uno.

PesoTamaño de entradaTop-1 (%)Tamaño de evaluaciónClasesLicenciaHub
efficientvim_m1.e300_in1k224--1000mittimm
efficientvim_m1.e450_in1k224--1000mittimm
efficientvim_m1_dist.in1k224--1000mittimm
efficientvim_m2.e300_in1k224--1000mittimm
efficientvim_m2.e450_in1k224--1000mittimm
efficientvim_m2_dist.in1k224--1000mittimm
efficientvim_m3.e300_in1k224--1000mittimm
efficientvim_m3.e450_in1k224--1000mittimm
efficientvim_m3_dist.in1k224--1000mittimm
efficientvim_m4.e300_in1k256--1000mittimm
efficientvim_m4.e450_in1k256--1000mittimm
efficientvim_m4_dist.in1k256--1000mittimm
Update on GitHub