Roteamento Aderente: Treinando Modelos MoE para Inferência com Uso Eficiente de Memória

arXiv:2607.08780v1 Tipo de Anúncio: novo Resumo: Modelos Mixture-of-Experts (MoE) ativam apenas um subconjunto esparso de especialistas por token, mas tokens consecutivos frequentemente ativam especialistas diferentes -- causando trocas constantes de pesos entre o armazenamento lento e a memória rápida em dispositivos de borda. As soluções existentes são de nível de sistema (heurísticas de cache) ou pós-fato (ajuste fino do roteador), deixando a causa raiz inalterada durante o pré-treinamento. Propomos o StickyMoE, uma perda de consistência de roteamento diferenciável que...