PARTREP: Aprendendo o Que Repetir para LLMs Somente-Decodificador
arXiv:2607.01792v1 Tipo de Anúncio: novo Resumo: Embora os LLMs somente-decodificador se destaquem em uma vasta gama de tarefas de linguagem natural, eles sofrem de um fluxo de informação assimétrico induzido pela atenção causal: os tokens posteriores são mais ricos em fundamentação contextual do que os anteriores. Um remédio simples e eficaz é a repetição de prompt -- basta acrescentar uma segunda cópia do prompt antes da geração para redistribuir a fundamentação entre as posições e melhorar o desempenho de raciocínio. No entanto, a repetição completa do prompt original...
arXiv cs.CL
·Andikawati P Widjaja, Yongjun Kim, Hyounghun Kim, Jaeho Lee
·
// relacionados
Leia também
Blog
Orquestração agêntica: as organizações de IA corporativa têm um problema de implantação, não um problema de plataforma — e a maioria está chamando chatbots de agentes
Blog
Soofi Consortium lança o Soofi S 30B-A3B: um modelo de fundação MoE híbrido Mamba-Transformer aberto para alemão e inglês
Modelo
thinkingmachines/Inkling
Blog