TEMPER: Parametrização Tensorizada Eficiente com Restrição de Variedade para Roteamento Residual Expressivo

arXiv:2608.07851v1 Tipo de anúncio: novo Resumo: As conexões residuais dependem de um caminho residual estático e são essenciais para o treinamento de redes neurais profundas. As hiperconexões (HC) aumentam a expressividade do roteamento residual ao incorporar múltiplos fluxos residuais e aprender o fluxo dinâmico de informação, enquanto as variantes com restrição de variedade (mHC) estabilizam o treinamento por meio de uma mistura residual duplamente estocástica. No entanto, um gargalo no nível do gerador permanece nos métodos existentes: eles utilizam densas, não estrutur...