O modelo que entra em espiral: a receita da Liquid AI contra os "doom loops"

Quem já viu um modelo de raciocínio travar reconhece o padrão: no meio de uma cadeia de pensamento, ele solta um "Espere" — e então "Espere", e "Espere" de novo, girando na mesma frase até estourar a janela de contexto sem chegar a lugar nenhum. A Liquid AI batizou o fenômeno de doom loop, a espiral fatal, e acaba de abrir tanto o remédio quanto os dados para prepará-lo. O conjunto antidoom-mix é um dos datasets mais em alta do Hugging Face hoje.

O curioso é a economia da correção: em vez de reeducar o modelo inteiro, o método intervém no exato token onde a espiral começa — e deixa o resto praticamente intocado. É uma cirurgia de precisão, não uma terapia longa.

Por que o modelo entra em espiral

A causa, segundo a Liquid AI, é uma combinação perversa. Depois de muito treino em raciocínio sintético, certas palavras de transição — "Espere", "Então", "Mas", "Alternativamente" — ficam supertreinadas: tão prováveis que o modelo tende a recorrer a elas por reflexo. Quando ele fica incerto sobre o próximo passo, essas palavras dominam a distribuição do próximo token e assumem o controle — sem que o raciocínio avance um milímetro. A incerteza, que deveria abrir caminhos, fecha todos num só, e a frase começa a se repetir.

É um efeito colateral direto da forma como se treina raciocínio hoje: encher o modelo de exemplos de "pensar em voz alta" torna as muletas do pensamento atraentes demais.

Um dataset definido pelo que ele não tem

A parte mais instrutiva talvez seja o conjunto de dados. O antidoom-mix é notável não pelo que contém, mas pelo que foi retirado: "gabaritos, justificativas, testes ocultos, alvos de verificação e rótulos de resposta foram intencionalmente removidos". Sobram 478.229 prompts nus — as perguntas, sem as respostas.

Faz sentido para o objetivo. Corrigir o vício de repetição não exige ensinar as respostas certas; exige expor o modelo a situações que provocam a espiral, detectar onde ela nasce e treinar a preferência naquele ponto. Um dataset cheio de gabaritos empurraria o modelo de volta à imitação — justamente o tipo de treino que criou as muletas. Ao remover as respostas, a Liquid AI mantém o foco no comportamento de geração, não no conteúdo.

Precisão como filosofia

O nome técnico, Final Token Preference Optimization, esconde uma escolha de método elegante. Métodos de alinhamento costumam ajustar a preferência do modelo sobre respostas inteiras. O FTPO estreita o foco ao máximo: identifica o token exato que inicia a espiral e treina o modelo a preferir, ali, uma continuação coerente — preservando quase toda a distribuição aprendida. Menos efeitos colaterais, menos risco de estragar o que já funcionava.

Os números sustentam a promessa. Num Qwen3.5-4B, os loops despencaram de 22,9% para 1%; num modelo próprio de 2,6 bilhões de parâmetros, de 10,2% para 1,4%. E — o detalhe que separa um conserto real de um paliativo — as notas nos testes de matemática e código melhoraram, em vez de cair. Consertar o vício não custou capacidade.

O que isso diz sobre o estado dos modelos de raciocínio

Convém a moderação: os ganhos são medidos em dois modelos específicos, e o doom loop é apenas um entre vários modos de falha da geração longa. Nada garante que a mesma receita elimine outros tiques ou funcione igual em modelos maiores. É um remédio para um sintoma bem definido, não uma cura geral.

Mas há um valor que transcende o número: o gesto de abrir tudo — código de detecção, treinador e o conjunto de prompts. A corrida dos modelos de raciocínio produziu ganhos reais e também patologias novas, como esta espiral que nasce do próprio excesso de treino em "pensar". Diagnosticá-las em público, com dados reproduzíveis, é o tipo de higiene que a área precisa e raramente pratica. Às vezes o avanço não é um modelo maior — é entender, e consertar, por que o que já temos às vezes fica preso repetindo "Espere".

Perguntas Frequentes

O que é um "doom loop"?

É quando um modelo, no meio de um raciocínio, começa a repetir a mesma frase ou palavra indefinidamente, até esgotar a janela de contexto sem produzir uma resposta. A Liquid AI atribui isso a palavras de transição supertreinadas que dominam a geração quando o modelo fica incerto.

Por que o dataset antidoom-mix não tem respostas?

Porque o objetivo é corrigir o comportamento de geração, não ensinar gabaritos. Manter as respostas empurraria o modelo de volta à imitação — o tipo de treino que criou o vício. Com apenas os prompts, o foco fica em detectar e corrigir onde a espiral começa.

O conserto piora o desempenho do modelo?

Ao contrário: nos testes relatados, as notas em matemática e código melhoraram enquanto a taxa de loops caía para cerca de 1%. Como o método FTPO mexe apenas no token que dispara a espiral, o resto do conhecimento do modelo permanece praticamente intacto.