Dependências Esparsas Entre Camadas dos Neurônios de FFN em Transformers

arXiv:2607.11990v1 Tipo de Anúncio: novo Resumo: Os blocos de rede feedforward (FFN) respondem por uma grande fração dos parâmetros e da computação nas arquiteturas Transformer, mas sua estrutura interna permanece difícil de interpretar devido à superposição aditiva induzida pelo fluxo residual. Examinamos se a ativação de um neurônio de FFN pode ser explicada por um conjunto esparso de ativações de neurônios anteriores e saídas de atenção. Introduzimos um método de atribuição sem necessidade de treinamento que estima...