Saber não é usar: por que um fato ensinado ao modelo raramente vira raciocínio

Ensine a um modelo de linguagem um fato inédito — digamos, que uma pessoa fictícia nasceu em certa cidade. Alguns passos de fine-tuning bastam: pergunte onde ela nasceu e ele acerta na hora. Agora faça a pergunta de lado: "essa pessoa nasceu no mesmo país que fulano?". O modelo trava. Ele sabe o fato — acabou de repeti-lo — mas não consegue usá-lo para o raciocínio mais simples que dele decorre.

Esse descompasso tem nome num trabalho publicado hoje: The Knowing–Using Gap, ou o abismo entre saber e usar. O paper — Towards Mechanistically Understanding Why Memorized Knowledge Fails to Generalize in Large Language Model Finetuning, arXiv 2607.08393 — não se contenta em constatar o fenômeno. Ele abre o modelo para descobrir onde, fisicamente, o fato fica preso.

Dois sintomas: um buraco e um atraso

Os autores caracterizam o abismo por duas marcas. A primeira é um buraco de acurácia: o modelo responde à pergunta direta muito melhor do que à pergunta que exige combinar o fato com outra coisa. A segunda é um atraso temporal: durante o treino, a capacidade de recitar o fato aparece bem antes da capacidade de raciocinar com ele — se é que a segunda chega. Memorizar é rápido; generalizar é lento e incerto.

Isso contraria a intuição confortável de que, uma vez que o modelo "sabe" algo, esse algo está disponível para todo o resto do seu raciocínio. Não está. Saber e usar, aqui, são operações separadas — e o fine-tuning entrega a primeira sem garantir a segunda.

O fato está no prédio, mas na sala errada

A parte mais instigante é o mecanismo. Um modelo de linguagem é feito de dezenas de camadas empilhadas; a informação flui de baixo para cima, e camadas diferentes fazem trabalhos diferentes. A hipótese dos autores — que eles chamam de desalinhamento do circuito de conhecimento — é que o fine-tuning guarda o fato numa dessas camadas, mas não naquela onde o raciocínio de fato acontece. O conhecimento está no prédio, só que na sala errada, e o circuito que pensa nunca passa por lá para buscá-lo.

Para testar isso, eles criaram o self-patching: uma intervenção que pega a representação interna de um lugar e a transplanta para outro, monitorando quando isso conserta um raciocínio que havia falhado. Quando o transplante funciona, é a prova de que o fato estava lá o tempo todo — só inacessível de onde estava. É uma forma de neurocirurgia diagnóstica: não se pergunta ao modelo o que ele sabe, mexe-se na sua fiação interna para ver o que se acende.

Por que isso importa para quem usa fine-tuning

A prática de injetar conhecimento novo num modelo via fine-tuning é rotina — empresas fazem isso o tempo todo para ensinar seus dados internos. Este trabalho joga uma luz incômoda sobre ela: você pode treinar o modelo até ele recitar seus fatos com perfeição e, ainda assim, ele ser incapaz de raciocinar com eles. O teste de "ele decorou?" não é o teste de "ele vai usar?".

A boa notícia é que o diagnóstico aponta um caminho de conserto. Guiada pelo self-patching, uma heurística de reposicionamento recuperou entre 58% e 75% do ganho máximo possível nos casos que antes falhavam — e o efeito se manteve entre domínios diferentes, sinal de que não é um truque de um caso só. Não é a solução final, mas mostra que o abismo é, ao menos em parte, endereçável: o problema não é o modelo não conter o fato, é ele guardá-lo no lugar errado.

O que fica

Há uma lição mais larga aqui, e ela desinfla um pouco do encanto com a ideia de "ensinar" modelos. Memorização e compreensão não são o mesmo fenômeno visto de ângulos diferentes; são coisas distintas, que acontecem em momentos e lugares distintos dentro da rede. Um modelo pode saber tudo e entender pouco. E, por enquanto, o único jeito de saber a diferença é abrir a máquina e olhar — não confiar no que ela responde quando perguntada de frente.

Perguntas Frequentes

O que é o "abismo entre saber e usar"?

É a diferença entre um modelo conseguir recitar um fato aprendido no fine-tuning e conseguir usá-lo num raciocínio. O estudo mostra que a primeira habilidade aparece rápido e a segunda, muitas vezes, não chega — o modelo sabe, mas não aplica.

O que é o self-patching?

É uma técnica de diagnóstico que transplanta a representação interna de um fato de uma parte do modelo para outra, para ver onde ela precisa estar para que o raciocínio funcione. Serve tanto para provar que o conhecimento existe internamente quanto para localizar onde ele fica inacessível.

Isso significa que fine-tuning não serve para ensinar fatos?

Serve para memorizar, mas não garante raciocínio. A implicação prática é que verificar se o modelo recita um fato não basta — é preciso testar se ele o usa em deduções. O estudo também mostra que o problema é parcialmente corrigível reposicionando a informação internamente.