Video-Oasis: 55% das perguntas dos benchmarks de vídeo podem ser respondidas sem ver o vídeo

Imagine avaliar a visão de alguém com um teste que pode ser respondido de olhos fechados. É, em números que impressionam pela franqueza, o que a área de compreensão de vídeo vem fazendo: o Video-Oasis, estudo conduzido por pesquisadores da NAVER Cloud e da Universidade Sejong, auditou 14 benchmarks populares — 24.416 pares de pergunta e resposta — e concluiu que 55% das amostras são solucionáveis sem qualquer entrada visual ou contexto temporal.

O diagnóstico importa porque esses benchmarks são a régua com que se mede o progresso dos modelos multimodais — e com que se justificam anúncios de que tal sistema "entende vídeo". Se a régua está torta, o progresso medido é, em boa parte, ilusão de ótica.

Como se descobre que um teste de vídeo não testa vídeo?

A auditoria aplica três baterias de diagnóstico. A primeira mede dependência visual: o modelo responde às cegas — só com a pergunta, ou com transcrição de áudio, ou com um resumo em legenda? Se acerta sem os pixels, a questão testa conhecimento prévio e probabilidade linguística, não visão. A segunda mede dependência temporal: embaralhar os quadros, ou usar só o quadro central, muda a resposta? Se não muda, a questão não exige raciocínio sobre tempo e movimento — que é justamente o que distingue vídeo de fotografia. A terceira verifica ambiguidade, cruzando checagens de consistência com inspeção humana para sinalizar anotações não confiáveis.

Dos 24.416 pares originais, sobreviveram 11.033 — 45% de retenção. O restante era respondível por atalho.

O tamanho da queda

No conjunto filtrado — batizado de desafios "video-native" —, o melhor modelo avaliado, Gemini-2.5-Pro, acerta 46,7%. A maioria dos Video-LLMs de código aberto fica entre 26% e 34%, contra uma linha de base aleatória de 25,6%. Em outras palavras: descontados os atalhos, boa parte dos modelos que exibem números respeitáveis em VideoMME e afins performa estatisticamente perto do chute.

Mais revelador ainda é o achado transversal: quanto mais atalhos um benchmark contém, maior a acurácia reportada nele. Os placares que a área celebra medem, em parte mensurável, a capacidade dos modelos de adivinhar por probabilidade linguística — uma habilidade real, mas que não é compreensão de vídeo.

Por que isso acontece — e por que se repete?

Não há má-fé no processo, e sim incentivos. Construir perguntas genuinamente visuais e temporais é caro; gerar perguntas a partir de legendas e metadados é barato. E modelos de linguagem são máquinas formidáveis de explorar regularidades estatísticas: se "o que a pessoa faz depois de abrir a geladeira" tem resposta provável "pega algo para comer", o modelo acerta sem ver geladeira alguma. A área já viu esse filme — auditorias semelhantes atingiram benchmarks de imagem (o caso VQA), de raciocínio e de código. Vídeo apenas chegou à sua vez.

O estudo organiza o que sobrou da filtragem em cinco categorias de desafio genuíno: dinâmica temporal e rastreamento (51% do conjunto), compreensão espacial do mundo (16,2%), causalidade e lógica (12,8%), percepção fina (10%) e narrativa global (9,9%). É um mapa útil do que os modelos de fato ainda não fazem.

O que muda na prática?

Para quem pesquisa, o Video-Oasis oferece um conjunto de avaliação mais duro e um método replicável de auditoria. Para quem lê anúncios de modelos, a lição é mais simples: números de "compreensão de vídeo" citados sem o contexto do benchmark valem pouco — e valerão menos ainda agora que se sabe que metade das réguas antigas media outra coisa. O progresso real da área continua acontecendo; ele apenas é mais lento e mais difícil do que os placares sugeriam.

Perguntas Frequentes

O que significa uma questão ser "solucionável sem entrada visual"?

Significa que o modelo acerta a resposta recebendo apenas o texto da pergunta (ou uma transcrição/legenda), sem processar quadro algum do vídeo — usando conhecimento prévio e probabilidade linguística. A questão, portanto, não mede percepção visual.

Quais benchmarks foram auditados?

Catorze, entre eles VideoMME, EgoSchema, MLVU, LongVideoBench, MVBench, LVBench, TVBench, VCR-Bench, Video-Holmes, MINERVA, MMR-V, ImplicitQA, VSI-Bench e RTV-Bench — cobrindo raciocínio espacial, temporal e geral.

Os modelos de vídeo atuais são inúteis, então?

Não. Eles têm capacidades reais, sobretudo em percepção estática e em tarefas apoiadas por áudio e legenda. O que o estudo mostra é que a compreensão temporal profunda — seguir o que acontece ao longo do tempo — está muito menos madura do que os placares indicavam.

O conjunto filtrado está disponível?

Sim. Os 11.033 desafios "video-native" do Video-Oasis foram publicados como benchmark, organizados em cinco categorias, com o paper disponível no arXiv (2603.29616).