Treinamento Autoguiado em Tempo de Teste para LLMs de Contexto Longo

arXiv:2607.09415v1 Tipo de anúncio: novo Resumo: O processamento de contexto longo tornou-se cada vez mais importante para os grandes modelos de linguagem (LLMs), mas simplesmente ampliar a janela de contexto não garante o aproveitamento eficaz de entradas longas. À medida que o comprimento da entrada cresce, a precisão frequentemente se degrada, indicando que os modelos ainda têm dificuldade em identificar e usar as evidências mais relevantes para uma pergunta. Uma maneira promissora de melhorar o aproveitamento de contexto longo é o treinamento em tempo de teste (TTT), que trata o contexto de teste como um...