Limiarização Sensível à Sensibilidade e Roteamento de Tokens para Esparsificação de Ativações em Grandes Modelos de Linguagem

arXiv:2607.08991v1 Tipo de Anúncio: novo Resumo: A inferência eficiente em Grandes Modelos de Linguagem (LLMs) exige decidir onde a computação pode ser reduzida preservando a qualidade do modelo. Estudamos esse problema por meio da esparsificação de ativações do perceptron multicamadas (MLP) e do roteamento condicional em nível de token. Primeiro, propomos a Limiarização Sensível à Sensibilidade para Esparsidade (SATS), um método de calibração de limiares para escolher limiares de gate camada a camada usando um proxy de sensibilidade da saída local do MLP em vez de calib...