PARTREP: Aprendendo o Que Repetir para LLMs Somente-Decodificador
arXiv:2607.01792v1 Tipo de Anúncio: novo Resumo: Embora os LLMs somente-decodificador se destaquem em uma vasta gama de tarefas de linguagem natural, eles sofrem de um fluxo de informação assimétrico induzido pela atenção causal: os tokens posteriores são mais ricos em fundamentação contextual do que os anteriores. Um remédio simples e eficaz é a repetição de prompt -- basta acrescentar uma segunda cópia do prompt antes da geração para redistribuir a fundamentação entre as posições e melhorar o desempenho de raciocínio. No entanto, a repetição completa do prompt original...
arXiv cs.CL
·Andikawati P Widjaja, Yongjun Kim, Hyounghun Kim, Jaeho Lee
·
// relacionados
Leia também
Blog
O complicado problema do Claude Code com a China envolve proibições dos dois lados do Pacífico
Blog
AI Security Institute do Reino Unido descobre que benchmarks padrão subestimam sistematicamente o que agentes de IA realmente conseguem fazer
Dataset
ByteDance-Seed/EdgeBench
Blog