PARTREP: Aprendendo o Que Repetir para LLMs Somente-Decodificador
arXiv:2607.01792v1 Tipo de Anúncio: novo Resumo: Embora os LLMs somente-decodificador se destaquem em uma vasta gama de tarefas de linguagem natural, eles sofrem de um fluxo de informação assimétrico induzido pela atenção causal: os tokens posteriores são mais ricos em fundamentação contextual do que os anteriores. Um remédio simples e eficaz é a repetição de prompt -- basta acrescentar uma segunda cópia do prompt antes da geração para redistribuir a fundamentação entre as posições e melhorar o desempenho de raciocínio. No entanto, a repetição completa do prompt original...
arXiv cs.CL
·Andikawati P Widjaja, Yongjun Kim, Hyounghun Kim, Jaeho Lee
·
// relacionados
Leia também
Editorial
O modelo que continua aprendendo depois de entregue: dentro do Macaron-V1
Blog
Novo Nordisk e AWS levam IA agêntica à descoberta de medicamentos
Blog
Nvidia garante o valor de seus próprios chips para destravar US$ 500 bilhões em financiamento de infraestrutura de IA
Modelo