LiteTopK: Explorando a Maldição da Dimensionalidade para um Kernel Indexer-TopK Fundido em Atenção Esparsa de Contexto Longo

arXiv:2607.11976v1 Tipo de anúncio: novo Resumo: O Indexer-TopK, a operação para calcular as pontuações e selecionar os k melhores candidatos, é amplamente utilizado por kernels de atenção esparsa em grandes modelos de linguagem e na recuperação de vetores em sistemas de recomendação e bancos de dados vetoriais. No entanto, os kernels Indexer-TopK baseados em GPU existentes, como o DeepSeek Sparse Attention (DSA), continuam ineficientes devido ao tráfego excessivo de memória global, à sincronização custosa e à sobrecarga de memória proibitiva. Neste trabalho, exploramos a...