CommitKV: Compressão de cache KV consciente do ciclo de vida por meio de transições de commit para agentes multiturno

arXiv:2608.07855v1 Tipo de anúncio: novo Resumo: Agentes de Raciocínio-e-Ação (ReAct) multiturno acumulam trajetórias crescentes de raciocínio, chamadas de ferramentas e observações. Seus caches chave-valor (KV) crescem na mesma medida, aumentando o uso de memória e o custo de atenção durante a inferência do modelo. Os métodos existentes de compressão de cache KV reduzem esses custos descartando estados com baixas pontuações de atenção. No entanto, baixa atenção no turno atual não implica irrelevância futura, já que informações temporariamente inativas p...