EasyBalance: Balanceamento de carga entre camadas em inferência distribuída de MoE

arXiv:2608.07964v1 Tipo de anúncio: novo Resumo: O balanceamento de carga surgiu como um problema crítico na inferência distribuída com paralelismo de especialistas em modelos Mixture-of-Experts (MoE). Como as distribuições de roteamento costumam ser desiguais entre os especialistas, os dispositivos que hospedam especialistas menos sobrecarregados precisam ficar ociosos aguardando o mais sobrecarregado durante a computação dos especialistas, o que leva à ineficiência. As abordagens de balanceamento de carga existentes se baseiam principalmente na replicação ou migração de especialistas dentro de cada camada, o que introduz sobrecarga adicional ...