Paper
LLMs & Texto
KVpop -- Key-Value Cache Compression with Predictive Online Pruning
KVpop learns optimal key-value cache eviction by directly supervising keep-or-drop decisions using future-attention targets, achieving high performance with reduced memory usage.
Hugging Face · Daily Papers
·Lukas Hauzenberger, Niklas Schmidinger
·
·▲ 10 upvotes
Este artigo está em destaque na seleção diária de papers do Hugging Face, curada pela comunidade de pesquisa em IA.
Autores: Lukas Hauzenberger, Niklas Schmidinger, Anamaria-Roberta Hartl, David Stap, Thomas Schmied, Sebastian Böck
- 10 upvotes da comunidade
- Temas: KV cache, autoregressive decoding, KV eviction, future-attention target, delayed memory-based scorer, attention maps
Resumo
Resumo original (em inglês), extraído do paper:
KVpop learns optimal key-value cache eviction by directly supervising keep-or-drop decisions using future-attention targets, achieving high performance with reduced memory usage.Onde ler
// relacionados
Leia também
Editorial
EdgeBench: 38 mil horas de agentes trabalhando revelam uma lei de escala inesperada
Editorial
Hy3: a Tencent libera seu modelo de 295 bilhões sob Apache 2.0 — e sem fronteiras
Editorial
InternVLA-A1.5: o robô que imagina o próximo segundo antes de mover o braço
Editorial