PARTREP: Aprendendo o Que Repetir para LLMs Somente-Decodificador

arXiv:2607.01792v1 Tipo de Anúncio: novo Resumo: Embora os LLMs somente-decodificador se destaquem em uma vasta gama de tarefas de linguagem natural, eles sofrem de um fluxo de informação assimétrico induzido pela atenção causal: os tokens posteriores são mais ricos em fundamentação contextual do que os anteriores. Um remédio simples e eficaz é a repetição de prompt -- basta acrescentar uma segunda cópia do prompt antes da geração para redistribuir a fundamentação entre as posições e melhorar o desempenho de raciocínio. No entanto, a repetição completa do prompt original...

arXiv cs.CL ·Andikawati P Widjaja, Yongjun Kim, Hyounghun Kim, Jaeho Lee ·
compartilhar: