GORGO: Online Tuning for Cross-Region Network-Aware LLM Serving
GORGO is a proxy architecture that optimizes LLM inference load balancing by jointly considering network latency, prefill cost, and queueing delay through evolutionary strategy tun…
Hugging Face · Daily Papers
·Alessio Ricci Toniolo, Rome Thorstenson
·
·▲ 2 upvotes
Este artigo está em destaque na seleção diária de papers do Hugging Face, curada pela comunidade de pesquisa em IA.
Autores: Alessio Ricci Toniolo, Rome Thorstenson, Abinaya Dinesh
- 2 upvotes da comunidade
- Temas: LLM inference services, load-balancing policies, KV-cache locality, replica load, network latency, prefill cost
Resumo
Resumo original (em inglês), extraído do paper:
GORGO is a proxy architecture that optimizes LLM inference load balancing by jointly considering network latency, prefill cost, and queueing delay through evolutionary strategy tuning on a new synthetic dataset.Onde ler
// relacionados
Leia também
Blog
Orquestração agêntica: as organizações de IA corporativa têm um problema de implantação, não um problema de plataforma — e a maioria está chamando chatbots de agentes
Blog
Soofi Consortium lança o Soofi S 30B-A3B: um modelo de fundação MoE híbrido Mamba-Transformer aberto para alemão e inglês
Modelo
thinkingmachines/Inkling
Blog