Director: Acelerando o Serviço Distribuído de MoE por meio do Posicionamento Proativo de Especialistas em Tempo Real

arXiv:2607.08782v1 Tipo de anúncio: novo Resumo: O paralelismo de especialistas tornou-se o paradigma predominante para servir modelos de Mixture-of-Experts (MoE). Sua eficiência depende das latências de comunicação e computação das GPUs, que estão ligadas ao posicionamento dos especialistas nas GPUs. Os trabalhos existentes para otimizar o posicionamento de especialistas concentram-se em aproveitar os padrões de ativação de especialistas de requisições passadas. No entanto, eles demonstram deficiências diante de padrões de requisições diversos e que mudam rapidamente, exigindo ...