See2Think: quando o modelo diz que está olhando o desenho, ele está mesmo?

A promessa é sedutora e virou padrão nos modelos multimodais de raciocínio: em vez de olhar a imagem uma vez e responder, o modelo age sobre ela. Recorta uma região, marca um ponto, redesenha o tabuleiro depois do movimento, gera um diagrama do estado atual — e continua raciocinando sobre esse novo estado visual, como quem rabisca no verso do papel.

O problema metodológico é antigo e conhecido de quem estuda cadeias de raciocínio em texto: o fato de o modelo produzir um passo intermediário não prova que ele usou aquele passo. Cadeias de pensamento escritas frequentemente são racionalizações posteriores, decorativas em relação à resposta. Nada garante que com imagens seja diferente. O See2Think foi construído para responder exatamente essa pergunta.

O teste é uma sabotagem controlada

O desenho experimental é a parte elegante do trabalho. Em vez de perguntar ao modelo se ele usou o estado visual — pergunta que nenhum modelo responde de forma confiável —, os autores corromperam os estados visuais intermediários e mediram o que acontecia com a resposta final.

A lógica é limpa: se o desenho fosse decorativo, estragá-lo não mudaria nada. Se o modelo depende dele, a acurácia despenca. E despencou — mais de 10 pontos percentuais de queda nas intervenções controladas. É evidência de que a dependência comportamental existe, e não é pouca.

Esse é um resultado razoavelmente tranquilizador, e vale registrá-lo como tal. A moda de "pensar com imagens" não é apenas encenação: os estados visuais entram no cálculo.

O gargalo não está onde se supunha

A parte mais útil do estudo é a decomposição do erro. Havia duas hipóteses plausíveis para explicar falhas em raciocínio visual: ou o modelo escolhe a operação errada (recorta a região irrelevante, desenha a linha auxiliar inútil), ou ele escolhe certo e executa mal.

Os dados apontam para a segunda. Os modelos tipicamente selecionam a operação visual apropriada — sabem que precisam marcar aquele canto, isolar aquele objeto, redesenhar aquele estado. O que falha é a renderização fiel: o estado visual produzido não corresponde ao que a operação pedia.

É uma distinção que muda o alvo da engenharia. Se o problema fosse de planejamento, a solução passaria por mais raciocínio, mais dados de decisão. Sendo de execução, o caminho é outro: ferramentas determinísticas em vez de renderização generativa. Um modelo que chama um recorte de imagem real, ou uma biblioteca de desenho, em vez de gerar o estado com um modelo de imagem, elimina a fonte principal de erro.

O achado que desconfortavelmente ecoa o texto

Há um resultado mais espinhoso no meio do paper: alta taxa de aproveitamento do retorno visual não garante ganho de acurácia. Ou seja, é possível medir que o modelo está incorporando o estado renderizado ao raciocínio subsequente — e ainda assim ele não acerta mais.

Isso derruba uma métrica de conveniência que vinha sendo usada como proxy de qualidade. Medir "o modelo olhou de novo para a imagem" é fácil e parece significativo; medir "olhar de novo o ajudou" é o que importa e não se deduz do primeiro. Usar o estado visual e usá-lo bem são coisas separadas, e a literatura vinha tratando as duas como uma.

Os autores acrescentam uma segunda advertência, que impõe cautela a qualquer conclusão geral: o raciocínio visual é fortemente dependente do modelo e do ambiente, sem nenhum regime de inferência dominando de forma consistente nas 12 categorias. O melhor arranjo para geometria 2D não é o melhor para cenas 3D. Não existe uma configuração vencedora para exportar.

Onde o benchmark é limitado

São 1.200 problemas — número respeitável para um benchmark construído com curadoria, modesto para sustentar afirmações finas sobre 12 categorias distintas. Divididos igualmente, dão cerca de 100 itens por categoria, o que deixa as diferenças pequenas dentro da margem de ruído.

E há a limitação inerente ao método de sabotagem: corromper um estado visual e ver a acurácia cair prova que o modelo depende do estado, não que ele o esteja usando de forma correta ou eficiente. Um modelo que copia o rótulo do desenho sem entender a geometria também sofreria com a corrupção. O teste estabelece um piso — o desenho não é decorativo — e não vai muito além dele.

O que fica

O See2Think chega a uma conclusão razoavelmente incomum na literatura de avaliação: a técnica em voga faz o que promete, mas pela razão errada em relação ao que se supunha. Modelos multimodais realmente dependem dos estados visuais que produzem — e erram porque desenham mal aquilo que sabiam que precisavam desenhar. É um problema de mão, não de olho, e tem conserto conhecido: parar de pedir ao modelo que gere o que uma ferramenta poderia recortar.

Perguntas Frequentes

O que é "pensar com imagens"?

É a família de técnicas em que um modelo multimodal, no meio do raciocínio, produz ou manipula conteúdo visual — recorta uma região, marca coordenadas, redesenha um estado — e continua raciocinando sobre esse resultado, em vez de responder a partir apenas da imagem original e do texto.

Por que corromper o estado visual prova alguma coisa?

Porque isola causalidade. Observar correlação entre desenhar e acertar não distingue causa de coincidência. Alterar deliberadamente só o estado intermediário e medir o efeito na resposta final testa se aquele estado participa do cálculo — é a mesma lógica de um experimento controlado.

O que significa "renderização fiel" ser o gargalo?

Significa que o modelo acerta ao decidir qual operação visual fazer, mas o estado visual que ele efetivamente produz não corresponde a essa operação — o desenho sai distorcido, incompleto ou inconsistente com a cena original. O erro está na execução, não no plano.

Isso vale para todos os modelos multimodais?

Não necessariamente. Os próprios autores registram que o comportamento varia bastante entre modelos e entre tipos de tarefa, sem um regime de inferência dominante. Os resultados descrevem uma tendência entre os modelos avaliados, não uma lei geral.