Mage-VL: a Microsoft descobre que o codec de vídeo já sabia o que era importante

Quando um modelo multimodal assiste a um vídeo, ele normalmente faz algo desperdiçador: pega um quadro a cada meio segundo, converte cada um em algumas centenas de tokens visuais e alimenta tudo ao modelo de linguagem. Numa cena em que quase nada se move — uma pessoa parada falando, uma sala vazia — o modelo reprocessa, quadro após quadro, exatamente o mesmo fundo.

O detalhe irônico é que essa redundância já foi identificada antes, por um sistema muito mais antigo e muito mais barato: o codec que comprimiu o vídeo. Todo formato de compressão moderno funciona guardando quadros completos de tempos em tempos e, entre eles, apenas o que mudou — os vetores de movimento e a energia residual. O Mage-VL, publicado nesta quarta pela Microsoft, faz a pergunta que estava esperando: por que o modelo não usa essa informação em vez de recalculá-la?

Ler o vídeo como o codec já o escreveu

O modelo trata os dois tipos de quadro de forma diferente. Os quadros-âncora — os I-frames, que o codec guarda inteiros — são processados normalmente. Os quadros preditos — os P-frames — têm apenas os blocos afetados por movimento retidos como tokens. O que o codec já declarou estático simplesmente não vira token.

O resultado direto dessa decisão é uma redução de cerca de 75% nos tokens visuais em relação à amostragem densa de quadros, sem perder a consciência do contexto temporal — porque a seleção não é aleatória nem periódica, é guiada por onde de fato houve mudança na cena.

O achado que contraria a intuição do setor

Entre os sete achados empíricos que o paper lista, um merece atenção especial: pré-treino em escala web não é essencial para codificadores visuais. O Mage-ViT foi treinado do zero em 560 milhões de imagens — uma ordem de grandeza abaixo dos bilhões usados por codificadores de referência — e alcança desempenho competitivo com eles.

Isso é uma afirmação forte contra a suposição corrente de que a qualidade do codificador visual é função do tamanho do corpus. Os autores atribuem o resultado a duas escolhas: treino em resolução variável, que permitiu escalonamento monotônico de desempenho, e um pipeline de otimização de dados. Convém tratar o achado com o ceticismo devido — "competitivo" é medido nos benchmarks escolhidos por eles —, mas a direção é interessante o bastante para merecer replicação.

Outros dois achados desafiam práticas estabelecidas de treino. Legendas densas de vídeo, sozinhas, bastam para bom desempenho em perguntas sobre vídeo, sem tarefas especializadas. E treino em vídeo dinâmico melhora o raciocínio espacial em imagens estáticas — o movimento ensina algo sobre geometria que a imagem parada não ensinava.

A parte de streaming, e o que "proativo" significa aqui

O Mage-VL não trabalha só com arquivos. A arquitetura inclui um portão de cognição leve, treinado no último dos cinco estágios do currículo, que atua como via rápida em modo de fluxo contínuo — decidindo quando o modelo deve se manifestar sobre o que está vendo, em vez de esperar por uma pergunta.

Esse é o caso de uso que motiva o desenho inteiro: assistentes que acompanham uma câmera ao vivo. Nesse regime, a economia de tokens deixa de ser questão de custo e vira questão de viabilidade — um modelo que gasta 4× mais computação por segundo de vídeo simplesmente não acompanha o fluxo.

Onde o modelo é fraco, segundo os próprios autores

O paper é honesto sobre os limites. O Mage-VL tem desempenho reduzido em tarefas agênticas complexas e em raciocínio matemático, e os autores atribuem isso a duas causas: quantidade limitada de dados textuais de alta qualidade e ausência de pós-treino por aprendizado por reforço na versão base.

É uma limitação que situa o modelo com precisão. O Mage-VL é uma proposta sobre como ver vídeo com eficiência, não sobre capacidade geral de raciocínio. Comparações com modelos frontier em tarefas de agente vão desfavorecê-lo, e isso não é o ponto.

O que fica

A ideia central aqui custa pouco para enunciar e explica por que passou tanto tempo despercebida: a indústria de compressão de vídeo resolveu, há trinta anos, o problema de identificar o que muda numa cena, e essa informação viaja dentro de todo arquivo de vídeo do mundo — de graça, já calculada. Modelos multimodais vinham descartando esse metadado na decodificação e refazendo o trabalho com atenção, que é a ferramenta mais cara disponível. Aproveitar o que já estava lá rendeu 75% dos tokens de volta.

Perguntas Frequentes

O que é um token visual?

É a unidade em que um modelo multimodal representa um pedaço de imagem — tipicamente um bloco de pixels convertido em vetor pelo codificador visual. Cada token consome memória e computação de atenção, e vídeos geram muitos: é o principal custo de processar vídeo em modelos de linguagem.

O que são vetores de movimento e I-frames?

Codecs de vídeo guardam alguns quadros por inteiro (I-frames, ou quadros-âncora) e, entre eles, apenas as diferenças — descritas por vetores de movimento (para onde cada bloco se deslocou) e energia residual (o que sobrou de erro). O Mage-VL usa esses sinais para decidir quais regiões merecem virar tokens.

O Mage-VL funciona com qualquer vídeo?

Funciona com codecs tradicionais como H.265/HEVC e também com codecs neurais como o DCVC-RT. Como praticamente todo vídeo distribuído hoje já vem comprimido em algum desses formatos, o metadado necessário costuma estar disponível sem processamento adicional.