Uma Abordagem Unificada para Interpretar a Destilação de Conhecimento em Grandes Modelos de Linguagem por Meio de Interações

arXiv:2607.08776v1 Tipo de anúncio: cruzado Resumo: Apesar do sucesso da destilação de conhecimento (KD) em Grandes Modelos de Linguagem (LLMs), o mecanismo subjacente por trás de sua eficácia permanece obscuro. Neste artigo, propomos uma abordagem unificada para explorar o mecanismo comum de vários métodos de KD usando interações. Especificamente, decompomos a pontuação de saída do LLM na soma de inúmeras interações. Cada interação representa uma relação não linear envolvendo um conjunto de variáveis de entrada (e....