Acelerando a Inferência em GPU de Grandes Modelos de Linguagem com Matrizes de Pesos Esparsas Moderadamente Não Estruturadas

arXiv:2607.08786v1 Tipo de Anúncio: novo Resumo: Com a crescente implantação de grandes modelos de linguagem (LLMs), o custo de inferência de LLMs tornou-se um desafio central. Técnicas de poda que introduzem esparsidade nas matrizes de pesos podem acelerar a inferência. No entanto, manter a qualidade do modelo normalmente limita a poda a uma esparsidade não estruturada moderada (em torno de 50\%). Nesses níveis de esparsidade, nenhum dos kernels de GPU existentes para multiplicação de matrizes esparsas (SpMM) consegue superar suas contrapartes densas. Este ...