MOSAIC: Composição Adaptativa Entre Camadas para Modelos de Visão e Linguagem Heterogêneos e Eficientes

arXiv:2607.09029v1 Tipo de anúncio: novo Resumo: Os Modelos de Visão e Linguagem (VLMs) alcançaram sucesso ao usar Transformers homogêneos para processar dados multimídia. Estudos recentes mostram que estruturas heterogêneas, que intercalam mecanismos eficientes como a atenção linear, melhoram tanto o desempenho quanto a latência de inferência em relação aos designs homogêneos. No entanto, esses esforços dependem de padrões de mistura estáticos e feitos manualmente, que são subótimos e difíceis de adaptar a hardware específico. Para preencher essa lacuna, nós pro...