O meio do documento é onde os modelos se perdem

Quem já leu um relatório corporativo de cinquenta páginas conhece a sensação: as primeiras páginas recebem atenção, as últimas também, e o meio vira uma neblina de gráficos e tabelas que a memória não retém. Acontece que os modelos de visão e linguagem — os VLMs, que leem imagem e texto juntos — sofrem do mesmo mal. E agora há número.

O SynthDocBench (arXiv 2607.10400), da ServiceNow, foi o paper mais votado do Hugging Face nesta quarta-feira, com 50 upvotes. Ele constrói 200 relatórios sintéticos de cerca de 51 páginas e 20.500 palavras cada, com 1.788 perguntas, e mede o que quase nenhum benchmark mede: o cruzamento entre contexto longo e raciocínio visual.

Por que documentos sintéticos

Parece um defeito e é uma escolha deliberada. Ao gerar os relatórios, os pesquisadores sabem exatamente onde cada evidência está — em qual página, em qual gráfico, a que distância da resposta. Isso permite perguntar coisas que um corpus real não permite: o desempenho muda conforme a posição da informação? Quantos saltos de raciocínio o modelo aguenta antes de desistir?

As perguntas se dividem em três tipos: leitura de gráfico (extração numérica direta, em 24 tipos de gráfico), integração entre modalidades (respostas que exigem texto e evidência visual em páginas distantes) e raciocínio de múltiplos saltos, combinando de 2 a 4 unidades de evidência, em cinco níveis de dificuldade — L1 a L5.

A penalidade do meio

O achado central é posicional. Cinco dos seis modelos analisados nesse recorte exibem o que os autores chamam de middle-section penalty: a acurácia despenca quando a evidência necessária está no terço central do relatório. A queda vai de 5 a 18 pontos percentuais, dependendo do modelo.

O Claude-Sonnet-4.5 mostra o declínio mais acentuado e mais regular — uma tendência negativa de -11,7 pontos do início ao fim, caindo de forma monotônica conforme a informação se afasta da abertura. O Gemini desenha outra curva: um U, com queda no meio e recuperação parcial no final.

Nada disso é inteiramente novo em texto puro — o fenômeno "perdido no meio" já era conhecido em LLMs de contexto longo. O que o SynthDocBench mostra é que ele sobrevive à mudança de modalidade, e talvez piore: agora não é só um parágrafo esquecido no miolo, é um gráfico mal lido no miolo.

O colapso da leitura de gráfico

O segundo achado é mais prático. Modelos que leem gráficos bem em página única passam a errar quando o mesmo gráfico está enterrado num documento longo. A habilidade não desapareceu — o contexto a soterrou.

Isso desmonta um raciocínio comum na hora de escolher modelo: testar num PDF de uma página, ver que funciona e presumir que escala. Não escala. A capacidade de extrair um número de um gráfico e a capacidade de fazê-lo na página 27 de 51 são medidas diferentes, e só a segunda descreve o uso real — o relatório anual, o processo, o laudo.

Some-se a isso o modo de falha dominante: alucinação visual. O erro típico não é o modelo dizer que não sabe. É afirmar um valor plausível que o gráfico não contém. Num fluxo de trabalho que automatiza extração de dados, esse é o pior erro possível — o que não levanta suspeita.

As ressalvas

Os autores são honestos quanto aos limites, e vale repetir. Os documentos são renderizados em D3.js e HTML, o que pode favorecer modelos cujo treino viu muito desse tipo de material — os próprios pesquisadores levantam a hipótese de que isso beneficie o Gemini. É um confound de familiaridade de distribuição, não um empate limpo.

A sinteticidade troca validade ecológica por interpretabilidade: documentos gerados não têm a sujeira dos reais — o escaneamento torto, a fonte ruim, a tabela quebrada entre páginas. E o foco em gráficos deixa de fora formulários e tabelas isoladas, que são metade da vida de quem processa documento.

Há ainda o risco padrão de todo benchmark público: uma vez conhecido, ele vira alvo. Modelos futuros podem otimizar para as escolhas de design do SynthDocBench sem melhorar em documento nenhum.

O que fica

O ganho real deste trabalho é diagnóstico. Ele não diz que os VLMs são ruins — 72,5% do Gemini em raciocínio multissalto sobre 51 páginas seria ficção científica há dois anos. Diz onde eles quebram, e a resposta tem geografia: no meio.

Para quem constrói sistemas, isso é acionável hoje. Se a informação crítica tende a se perder no miolo, a arquitetura responde — recuperar as páginas certas antes de perguntar, fatiar o documento, verificar as extrações contra a fonte. A lição não é esperar o próximo modelo. É parar de tratar "aguenta 1 milhão de tokens" como sinônimo de "lê 51 páginas com atenção uniforme". Cabe não é o mesmo que lê.

Perguntas Frequentes

O que é um VLM?

Um modelo de visão e linguagem (vision-language model): aceita imagens e texto na mesma entrada e responde em texto. É o que permite mostrar a página de um relatório e perguntar o que diz o gráfico — em vez de precisar de um OCR separado para extrair o texto antes.

Por que a posição da informação no documento muda o resultado?

É o fenômeno "perdido no meio", já conhecido em modelos de texto de contexto longo: a atenção do modelo se distribui de forma desigual, favorecendo o começo e o fim da entrada. O SynthDocBench mostra que o efeito persiste em documentos visuais, com quedas de 5 a 18 pontos percentuais no terço central.

O que é alucinação visual?

É quando o modelo afirma um dado que a imagem não contém — lê num gráfico denso um valor plausível, mas inexistente. É o erro mais frequente do benchmark e o mais perigoso na prática, porque o resultado parece correto e não sinaliza incerteza a quem revisa.