HSMLA: Atenção Linear Multiescala com Softmax Hierárquico para Vision Transformers Eficientes
arXiv:2608.07616v1 Tipo de anúncio: novo Resumo: Os vision transformers enfrentam sobrecargas computacionais significativas na predição densa em alta resolução devido à complexidade quadrática da autoatenção. A atenção linear oferece eficiência, mas sacrifica a modelagem de contexto local. Propomos o \textbf{HSMLA (Atenção Linear Multiescala com Softmax Hierárquico)}, que combina atenção linear baseada em ReLU para contexto global, refinamento seletivo por softmax para características locais críticas e represen... de tokens multiescala
arXiv cs.CV
·Dong Liu, Yanxuan Yu, Renata Borovica-Gajic, Ying Nian Wu
·
// relacionados
Leia também
Editorial
O modelo que continua aprendendo depois de entregue: dentro do Macaron-V1
Blog
Novo Nordisk e AWS levam IA agêntica à descoberta de medicamentos
Blog
Nvidia garante o valor de seus próprios chips para destravar US$ 500 bilhões em financiamento de infraestrutura de IA
Modelo