HALO: Raciocínio Latente Adaptativo Híbrido para Modelos de Linguagem

arXiv:2607.08775v1 Tipo de anúncio: novo Resumo: Estudamos como aprimorar um modelo de linguagem pré-treinado e congelado com uma pequena quantidade de computação extra adaptativa. Uma abordagem simples é adicionar etapas extras de refinamento sobre os estados ocultos do backbone, mas o refinamento extra fixo pode ser desperdiçado: uma cabeça de refinamento de uma única etapa pode ser fraca demais, enquanto forçar uma segunda etapa de refinamento de sequência completa em todos os lugares pode aumentar a computação sem melhorar a transferência. Nós apresentamos o HALO, um refinamento latente adaptativo híbrido...