Sci-VBench: o vídeo generativo ficou lindo, mas continua errando a física

Peça a um modelo de vídeo para mostrar uma gota de tinta se dissolvendo num copo d'água. O resultado provavelmente será bonito: iluminação convincente, textura da água plausível, movimento suave. Peça a um químico para assistir e ele apontará que a difusão está acontecendo rápido demais, na direção errada, e que a tinta se comporta como fumaça — não como um líquido mais denso caindo em outro.

Essa lacuna entre parecer certo e estar certo é o objeto do Sci-VBench, benchmark publicado por pesquisadores da Universidade de Zhejiang, UCAS, Universidade Tongji e Yale. São 1.253 tarefas de geração de vídeo anotadas por especialistas, cobrindo 60 assuntos distribuídos em quatro grandes áreas: Ciências Naturais, Saúde, Humanidades e Ciências Sociais, e Engenharia.

Quatro eixos, e só um deles saturou

A avaliação separa o que costuma ser medido junto. Cada vídeo gerado é pontuado em quatro dimensões independentes: fidelidade perceptual de baixo nível (o vídeo é nítido, estável, sem artefatos?), aderência ao prompt (mostra o que foi pedido?), correção científica e causal (o fenômeno acontece pelo mecanismo certo?) e consistência espaçotemporal (objetos mantêm identidade e as coisas seguem uma linha do tempo coerente?).

O achado central está na distribuição dessas notas. Segundo os autores, as métricas de qualidade perceptual "se agrupam de forma apertada entre os sistemas" — todo mundo já sabe fazer pixel bonito —, enquanto as dimensões de raciocínio variam substancialmente. Em linguagem de benchmark: a fidelidade visual saturou; o mecanismo, não.

É uma constatação com consequência prática imediata. As métricas automáticas mais usadas em geração de vídeo medem justamente a dimensão que parou de discriminar. Continuar avaliando modelos por elas é como classificar restaurantes pela temperatura do prato.

Onde exatamente o código aberto fica para trás

O segundo resultado é mais específico do que o habitual "proprietários vão na frente". A diferença entre os oito sistemas fechados e os oito abertos não se distribui uniformemente: ela se concentra na correção científica e causal. Em consistência espaçotemporal — manter um objeto sendo o mesmo objeto ao longo de trinta quadros —, os modelos abertos têm desempenho comparável.

Isso sugere uma separação entre dois tipos de competência que a geração de vídeo vinha tratando como uma só. Coerência temporal parece ser majoritariamente um problema de arquitetura e de escala de treino — resolvível com engenharia e GPUs, e por isso já difundido. Correção causal parece depender de outra coisa: de dados que contenham a relação de causa e efeito de forma explícita, ou de algum componente de raciocínio acoplado ao gerador. É um problema que dinheiro em computação não resolve sozinho.

"Erros mecanísticos sistemáticos" não é elogio disfarçado

O terceiro achado é o que mais deveria incomodar quem vende vídeo generativo como ferramenta educacional ou científica. Mesmo os modelos líderes produzem, nas palavras dos autores, erros mecanísticos sistemáticos: baixa aderência à instrução, violações de princípios científicos e incoerência temporal.

A palavra que faz o trabalho pesado ali é sistemáticos. Erro aleatório é ruído — irrita, mas não engana. Erro sistemático é um viés: o modelo erra sempre na mesma direção, e o resultado tem a aparência exata de estar certo. Um vídeo lindo de um processo mitocondrial acontecendo na ordem errada é pior do que nenhum vídeo, porque um estudante não tem como distinguir um do outro.

É por isso que o Sci-VBench importa mais como diagnóstico do que como placar. Ele não está dizendo que os modelos são ruins — a fidelidade visual saturando é uma conquista técnica genuína e recente. Está dizendo que a métrica pela qual celebramos o progresso mede uma coisa que já foi resolvida, enquanto a coisa não resolvida passa despercebida.

O que fazer com isso

Há uma leitura otimista disponível, e ela é razoável: benchmarks que separam dimensões costumam ser o passo que antecede o progresso naquela dimensão. Quando o ImageNet quantificou classificação de imagens, a classificação melhorou; quando o SWE-Bench quantificou correção de bugs reais, os agentes de código melhoraram. Um número que ninguém mede é um número que ninguém otimiza.

Há também um alerta de calibração para quem usa. Vídeo generativo em 2026 é uma ferramenta madura para ilustração, storyboard, publicidade e qualquer coisa em que plausível baste. Ainda não é uma ferramenta para explicar como o mundo funciona — e a diferença entre esses dois usos é justamente aquilo que o olho não pega.

Perguntas Frequentes

O que significa "correção causal" num vídeo gerado?

Significa que o fenômeno mostrado acontece pelo mecanismo correto, e não apenas com a aparência correta. Um vídeo de uma bola quicando pode ter física de colisão errada e ainda assim parecer natural para quem não mede. Correção causal pergunta se a sequência de causas e efeitos que o vídeo encena corresponde à realidade — ordem dos eventos, conservação de quantidades, relação entre força e movimento.

Por que separar fidelidade perceptual de correção científica?

Porque elas melhoraram em ritmos muito diferentes e continuam sendo somadas numa nota só. Quando uma dimensão satura e a outra não, a média esconde exatamente a informação útil. Separar as duas é o que permite ver que o progresso recente aconteceu quase todo de um lado.

Por que os modelos abertos empatam em consistência temporal e perdem em causalidade?

O paper não isola a causa, mas a leitura mais direta é que consistência temporal é um problema de arquitetura e escala — que se difunde rápido pela comunidade aberta assim que uma solução aparece —, enquanto correção causal depende da composição e da curadoria dos dados de treino, que é exatamente o ativo que os laboratórios fechados não publicam.

Dá para usar vídeo generativo em material educacional?

Com revisão humana especializada, sim; sem ela, é arriscado. O achado dos erros sistemáticos indica que as falhas não são visualmente evidentes — elas se parecem com acertos. Para conteúdo científico, o vídeo gerado serve melhor como rascunho de ilustração do que como explicação autônoma de um mecanismo.

Como 1.253 tarefas se comparam a outros benchmarks de vídeo?

Em número bruto, é uma escala média. A diferença está na anotação por especialistas de domínio em 60 assuntos — o custo desse tipo de curadoria é o que normalmente limita o tamanho. Benchmarks maiores costumam usar prompts genéricos e avaliação automática; a troca aqui é menos volume em favor de julgamento qualificado sobre o mecanismo.