Ler com os olhos: quando treinar num retrato da página vence treinar só no texto

Há uma etapa invisível na origem de todo modelo de linguagem. Antes que o modelo veja uma única palavra, alguém precisa transformar a web — PDFs, artigos científicos, páginas cheias de tabelas, equações e diagramas — numa longa fita de texto puro. É um trabalho de tradução: extrair caracteres, descartar o layout, jogar fora a imagem e ficar só com a cadeia de tokens. Esse texto extraído é a matéria-prima do pré-treino. Sempre foi.

Um trabalho intitulado Scalable Visual Pretraining for Language Intelligence (arXiv 2607.09657), publicado em 10 de julho e um dos mais votados do dia no Hugging Face com 40 upvotes, pergunta o que acontece se pularmos essa tradução. E se, em vez do texto extraído, o modelo for treinado no retrato da página — a imagem, com a diagramação, as figuras e a equação tipografada intactas? A resposta desconcerta: sobre exatamente o mesmo corpus, o pré-treino visual bate o pré-treino só de texto.

O que se perde na tradução para texto

Extrair texto de um documento parece uma operação neutra, mas não é. Uma equação vira uma sopa de símbolos fora de ordem. Uma tabela perde as linhas e colunas que davam sentido aos números. Um gráfico simplesmente desaparece — não há texto para extrair de uma curva. A disposição espacial de uma página, que um leitor humano usa o tempo todo para saber o que é título, nota de rodapé ou legenda, evapora.

O argumento central do estudo é que essa informação descartada não é decorativa: é sinal. A página, vista como imagem, carrega estrutura que o texto linearizado não preserva. Treinar o modelo para prever o conteúdo dessas imagens — em vez de prever o próximo token de um fluxo já achatado — o obriga a reconstruir relações que a extração jogou fora.

Por que isso é maior do que parece

Vale a cautela de sempre: é um preprint, o resumo não publica ainda os números finais de cada benchmark, e "supera consistentemente" precisa ser lido com o cuidado que se dá a toda afirmação de superioridade em pré-treino. Mas, se o efeito se confirmar na revisão, o incômodo é conceitual, não incremental.

A indústria inteira construiu sua tubulação em torno da ideia de que linguagem se aprende de texto e visão se aprende de imagem — dois canais separados, unidos só depois, na fase multimodal. Este trabalho sugere que a fronteira é artificial. Um modelo que "lê" a página como imagem estaria aprendendo linguagem e estrutura visual de uma vez, do mesmo dado, sem a perda que a extração impõe. A separação entre "modelo de texto" e "modelo de visão" começaria a parecer um artefato histórico da forma como preparamos os dados, não uma divisão natural do problema.

A economia da coisa

Há também um argumento prático. Extrair texto limpo de bilhões de documentos é caro e cheio de erros: OCR falho, PDFs malformados, tabelas que viram lixo. Se o modelo pode ser treinado direto na imagem da página, boa parte dessa engenharia de limpeza — que hoje consome equipes inteiras — deixa de ser gargalo. O dado bruto, tal como existe na web, vira treinável sem a etapa de tradução.

É a mesma lógica que fez o aprendizado profundo vencer a extração manual de features em visão computacional há mais de uma década: em vez de decidir de antemão o que é relevante e descartar o resto, deixa-se o modelo olhar para o dado cru e extrair o que importa. Aqui, o "dado cru" é a página inteira, não a sua sombra textual.

O que falta saber

As perguntas certas ainda estão em aberto. Quão bem a receita escala para os trilhões de tokens dos modelos de fronteira? O ganho se mantém quando o texto extraído é de altíssima qualidade, ou ele vem sobretudo de documentos onde a extração falhava feio — justamente os ricos em figuras e fórmulas? E há o custo: processar imagens de páginas é mais pesado por token do que ler texto, então a comparação justa é por orçamento de computação, não por número de exemplos.

Nada disso apaga o desconforto produtivo do resultado. Durante anos tratamos o texto como a forma pura da linguagem e a imagem como um extra a ser encaixado depois. Este trabalho vira a hierarquia: talvez a página — com sua tinta, sua geometria e suas equações — sempre tenha sido a forma mais completa do que queríamos que o modelo aprendesse. Só estávamos, diligentemente, jogando fora a metade que não cabia numa linha.

Perguntas Frequentes

O modelo passa a "ver" em vez de "ler"?

Não é bem uma troca de sentidos. O modelo continua aprendendo a prever conteúdo, mas a partir da imagem da página em vez do texto extraído dela. Na prática, ele aprende linguagem e estrutura visual ao mesmo tempo, do mesmo material — o que a tubulação tradicional separava em duas etapas.

Isso torna a extração de texto (OCR) obsoleta no pré-treino?

O estudo sugere que a extração deixa de ser um gargalo obrigatório: treina-se direto na imagem, sem depender de OCR limpo. Se isso vale para todos os casos ou sobretudo para documentos ricos em figuras e fórmulas — onde a extração mais falhava — é uma das perguntas que a validação ainda precisa responder.

Por que confiar num resultado que ainda é preprint?

Não se deve confiar cegamente. É um preprint sem os números finais por benchmark publicados no resumo. O que o torna relevante é a força e a votação da tese — e o fato de que, se confirmado, ele questiona uma premissa estrutural de como grandes modelos de linguagem são construídos.