BlockServe: Batching Contínuo em Granularidade de Bloco para Serviço de LLMs de Difusão com Alta Taxa de Transferência

arXiv:2607.08930v1 Tipo de Anúncio: novo Resumo: O serviço eficiente de large language models de difusão (dLLMs) é prejudicado pela heterogeneidade de convergência: ao agrupar múltiplas requisições em lote, diferentes sequências convergem a taxas distintas, fazendo com que requisições mais rápidas fiquem paradas atrás de retardatárias mais lentas e introduzindo bolhas de computação e latência de cauda. Apresentamos o BlockServe, um framework de batching contínuo que integra escalonamento em granularidade de bloco — despejando imediatamente as requisições concluídas nos limites de bloco ...