Evidence-RL: como obrigar um modelo de visão a de fato olhar para a imagem

Mostre a um modelo de visão e linguagem a foto de uma cozinha e pergunte de que cor é a geladeira. Ele responde "branca" e acerta. A pergunta que quase ninguém faz: ele acertou porque olhou para a geladeira, ou porque a maioria das geladeiras em fotos de cozinha na internet é branca?

A distinção parece filosófica até você mudar o cenário. Num laudo médico, num controle de qualidade industrial, numa leitura de instrumento, um modelo que acerta por estatística de treino em vez de por evidência visual vai acertar consistentemente — até encontrar o caso atípico, que é exatamente o caso que importa. O Evidence-RL, proposto por pesquisadores da National University of Singapore, Universidade de Zhejiang, Universidade Fudan, Universidade Tsinghua e Tencent, é uma tentativa de tornar esse atalho detectável — e depois penalizá-lo no treino.

O teste contrafactual: apague e veja o que acontece

O mecanismo central se chama Counterfactual Evidence Disentanglement (CED), ou desemaranhamento contrafactual de evidência. A pergunta que ele operacionaliza é direta: o apoio do modelo à sua resposta cai mais quando a região visual relevante é neutralizada do que quando regiões não relacionadas são alteradas?

A implementação é engenhosa pela sobriedade. Em vez de borrar ou recortar a região — o que criaria um artefato que o modelo detecta e trata como anomalia —, os autores substituem os tokens visuais daquela área pela média dos tokens vizinhos. A textura local e a estrutura da representação continuam plausíveis; o que desaparece é a informação específica daquele pedaço. É uma remoção cirúrgica, não uma mutilação.

Depois basta comparar. Neutraliza-se a região que deveria conter a resposta; neutraliza-se uma região de controle, pareada em tamanho e posição; mede-se a queda de confiança em cada caso. A diferença entre as duas quedas é a margem contrastiva de evidência — um número que separa quem olhou de quem chutou com sotaque erudito.

Por que a recompensa precisa vir da imagem

A contribuição conceitual do trabalho é anterior ao método. Os autores formalizam por que a autoevolução baseada apenas em texto não consegue distinguir raciocínio fundamentado de raciocínio por atalho.

O argumento é simples quando exposto. Se você treina um modelo recompensando a resposta final correta, duas trajetórias completamente diferentes recebem exatamente a mesma nota: a que examinou a imagem e concluiu, e a que ignorou a imagem e adivinhou pelo prior linguístico. Sem um sinal condicionado à imagem, essas trajetórias são indistinguíveis para a função de recompensa — e o modelo, otimizando o que é medido, converge para a mais barata das duas. Adivinhar custa menos que olhar.

Daí a conclusão dos autores de que sinais condicionados à imagem são estruturalmente necessários, não um refinamento opcional. Não é possível corrigir por texto um problema que só existe na relação entre texto e imagem.

Trinta e seis de trinta e seis

O resultado empírico é discreto na magnitude e notável na consistência: ganhos não negativos em todas as 36 combinações de nove benchmarks e quatro arquiteturas base. Métodos de pós-treino costumam melhorar uma família de tarefas às custas de outra — o padrão do campo é ganhar em percepção e perder em raciocínio abstrato, ou vice-versa. Nada regredir em lugar nenhum é um indício de que a intervenção corrige um viés real em vez de trocar um viés por outro.

Os maiores ganhos aparecem, previsivelmente, nos benchmarks intensivos em percepção — VLMsAreBlind e FREAK, desenhados justamente para flagrar modelos que não estão vendo. É a evidência interna mais forte de que o mecanismo faz o que diz fazer: o ganho se concentra onde o atalho era mais explorável.

Dois detalhes de engenharia merecem nota. Primeiro, a supervisão vem de propostas fracas em nível de objeto derivadas do COCO — o modelo não recebe uma anotação dizendo "a evidência para esta pergunta está aqui". Isso é o que torna o método aplicável em escala, porque anotação de evidência por pergunta é caríssima. Segundo, todo o custo é de treino: na hora de responder, o modelo roda normalmente, sem nenhuma passada extra.

Os limites que o próprio desenho impõe

Propostas fracas de objeto vindas do COCO herdam o que o COCO cobre: objetos comuns em cenas cotidianas. Perguntas cuja evidência não é um objeto delimitável — uma relação espacial entre coisas, uma textura difusa, um gráfico, um texto na imagem — ficam mal servidas pelo sinal disponível. O método deve funcionar melhor exatamente onde já se sabia procurar.

Há também um pressuposto embutido na intervenção: que substituir tokens pela média dos vizinhos remove a informação sem deixar rastro que o modelo possa aprender a detectar. É plausível e bem mais elegante do que mascarar com preto, mas continua sendo uma manipulação da representação — e otimização por reforço tem um histórico longo de encontrar exatamente esse tipo de brecha.

Ainda assim, o enquadramento vale por si. A pergunta "o modelo acertou porque olhou?" é diferente da pergunta "o modelo acertou?", e até aqui o campo vinha medindo só a segunda. Um modelo que acerta pelo motivo errado não é um modelo quase correto — é um modelo que ainda não foi testado no caso que importa.

Perguntas Frequentes

O que é um VLM?

VLM (Vision-Language Model, ou modelo de visão e linguagem) é um modelo que recebe imagem e texto juntos e responde em texto. Internamente, a imagem é convertida numa sequência de vetores — os tokens visuais — que entram no mesmo fluxo do texto. É a arquitetura por trás de perguntar a um assistente o que aparece numa foto.

O que é raciocínio por atalho?

É chegar à resposta certa por uma correlação do conjunto de treino, e não pelo conteúdo do caso em questão. Se em 90% das fotos de praia há areia, um modelo pode responder "areia" sem examinar a imagem. Funciona na média e falha exatamente nos 10% — que costumam ser os casos em que a resposta importava.

O que é GRPO?

GRPO (Group Relative Policy Optimization) é um algoritmo de aprendizado por reforço que dispensa um modelo de valor separado: ele gera um grupo de respostas para a mesma entrada e usa a comparação relativa dentro do grupo como sinal de vantagem. Ficou popular no treino de modelos de raciocínio por ser mais barato e estável que as alternativas. O Evidence-RL entra como um termo adicional na recompensa, não como um substituto do algoritmo.

Por que substituir tokens pela média dos vizinhos em vez de apagar a região?

Porque apagar cria um buraco — e um buraco é uma pista. Um modelo pode aprender a reconhecer a região mascarada e reagir a ela em vez de reagir à ausência da informação, o que corromperia a medida. A substituição pela média preserva a plausibilidade local da representação e remove apenas o que era específico daquele ponto.

Isso resolve a alucinação em modelos de visão?

Reduz uma das causas, não todas. O HallusionBench está entre os benchmarks avaliados e melhora, mas alucinação em VLMs tem outras origens — o descolamento entre o codificador visual e o modelo de linguagem, a tendência do decodificador a completar padrões plausíveis, a própria composição do treino. Aterrar a resposta na evidência ataca a origem mais bem caracterizada delas.