Decodificação Oculta em Escala: Escalonamento de Computação Latente para Grandes Modelos de Linguagem

arXiv:2607.08186v1 Tipo de anúncio: novo Resumo: O escalonamento de Grandes Modelos de Linguagem (LLMs) tem sido impulsionado principalmente pela ampliação da espinha dorsal do Transformer, mas, para um modelo já robusto, isso exige uma nova rodada de pré-treinamento custoso. Estudamos se uma espinha dorsal existente pode continuar melhorando ao alocar mais computação para cada token, mantendo a espinha dorsal do Transformer fixa. Os Transformers de recorrência em profundidade (com laços) buscam esse objetivo, mas são difíceis de escalar, porque a computação com laços não se encaixa natu...