Poda Estruturada de Grandes Modelos de Linguagem via Transformação de Potência e Agregação de Pontuações com Preservação de Sinal e Retenção Adaptativa de Características

arXiv:2607.08027v1 Tipo de Anúncio: novo Resumo: Este artigo propõe um método aprimorado de poda estruturada para grandes modelos de linguagem (LLMs) que aborda desafios centrais na adaptação da Retenção Adaptativa de Características (AFR), uma técnica de poda não estruturada, para a poda estruturada. Ao aplicar a AFR à poda estruturada, surgem três grandes problemas: incompatibilidade de distribuição entre pontuações de poda heterogêneas, perda de informação de sinal que indica a consistência da direção de otimização e influência de valores atípicos....

arXiv cs.CL ·Ryota Kobayashi, Tsubasa Hirakawa, Takayoshi Yamashita, Hironobu Fujiyoshi, Yasunori Ishii, Tomoyuki Okuno, Kazuki Kozuka ·
compartilhar: