VideoChat3: o modelo de vídeo de 4B que bate GPT-5 e Gemini no que eles não fazem bem
Um modelo aberto de 4 bilhões de parâmetros, criado por pesquisadores da Universidade de Nanjing e do Shanghai AI Laboratory, superou modelos proprietários em tarefas de percepção temporal fina — o tipo de vídeo que exige entender quando algo aconteceu, não só o que aconteceu.
Modelos de linguagem que "entendem" vídeo costumam fazer uma coisa bem: descrever o que está na cena. O que quase nenhum faz bem é responder quando algo aconteceu — em que segundo a bola tocou o chão, quanto tempo durou o gesto, se dois eventos se sobrepuseram. É essa lacuna que o VideoChat3, lançado esta semana por um grupo liderado por Limin Wang (Universidade de Nanjing e Universidade de Pequim), com o Shanghai AI Laboratory e a Universidade Tecnológica de Nanyang, tenta fechar — com um modelo de apenas 4 bilhões de parâmetros, pesos e dados de treino publicados por completo.
O problema de comprimir tempo em tokens
Vídeo é caro para um modelo processar porque cada frame vira um bloco de tokens visuais, e um minuto de vídeo tem centenas de frames. A saída mais comum é descartar a maior parte deles — o que destrói justamente a informação temporal fina que o VideoChat3 quer preservar.
A solução do time é o I3D-ViT (Vision Transformer 3D "inflado"): em vez de tratar cada frame como uma imagem isolada, o modelo agrupa blocos de até 4 frames consecutivos e aplica atenção conjunta no espaço e no tempo, comprimindo a sequência visual em até 16 vezes antes de ela chegar ao restante da rede. Para vídeo em streaming — câmera ligada, sem gravação prévia — o modelo alterna entre três estados de atenção: monitorar em baixa resolução quando nada relevante acontece, subir a resolução quando percebe algo em potencial, e responder só quando há evidência suficiente. É o mesmo princípio de um segurança que não fixa o olhar em tudo o tempo todo, só onde o movimento pede atenção.
- Tamanho: 4 bilhões de parâmetros, decoder Qwen3-4B, contexto de até 98.304 tokens.
- Dados de treino: ~3 milhões de amostras próprias, divididas em vídeo geral (2,27M), vídeo longo de 156s a 1.300s (116K) e streaming com tempo de resposta anotado (617K).
- Grounding temporal (localizar quando um evento ocorre): 56,1 mIoU no Charades, 67,0 no QVHighlights — supera o Qwen3-VL-4B em 18 de 19 métricas comparáveis, com ganho de +9,7 pontos no Charades.
- Vídeo longo: 70,1 no Video-MME, 56,7 no LVBench.
- Streaming: 72,3 no ODVBench — 12,4 pontos acima do StreamForest, o melhor aberto anterior.
- Contra modelos fechados: supera GPT-5 e Gemini 2.5 Flash em todos os cortes do benchmark TimeLens, com um modelo 100 a 1.000 vezes menor.
Por que um modelo pequeno vence os grandes aqui
A explicação não é que o VideoChat3 seja "mais inteligente" que o GPT-5 no sentido amplo — é que percepção temporal fina é um problema de dados e arquitetura especializados, não de escala geral. Modelos generalistas fechados são treinados majoritariamente em imagem e texto, com vídeo como capacidade secundária; o VideoChat3 foi construído do zero para esse problema, com um pipeline de dados sintéticos desenhado especificamente para ensinar "quando", não só "o quê".
O ganho de eficiência computacional acompanha o ganho de precisão: processando 1.024 frames, o modelo reduz a latência total de 12,25 para 8,10 segundos frente ao Qwen3-VL, corta mais de 60% dos FLOPs (operações de ponto flutuante, a unidade padrão de custo computacional) e usa metade dos tokens visuais para a mesma tarefa.
O que "totalmente aberto" quer dizer aqui
A equipe publicou não só os pesos, mas o código de treino, a estratégia de currículo em quatro estágios e os três datasets sintéticos completos — VideoChat3-Academic2M, LV116K e OL617K. É uma reprodutibilidade rara para um modelo desse porte: qualquer laboratório com recursos modestos pode auditar, reproduzir ou adaptar o pipeline inteiro, não apenas baixar um checkpoint fechado.
Os limites que ainda existem
O modelo é especializado — o que é sua força e sua restrição. Em tarefas de compreensão visual ampla que não dependem de tempo (como Video-MMMU), o desempenho fica comparável a rivais abertos, não superior. E o benchmark que mais favorece o VideoChat3, TimeLens, foi construído em parte pelos próprios autores, o que pede cautela até que outros grupos repliquem os números em bancos de teste independentes.
O que fica
O VideoChat3 é um lembrete de que "modelo de fronteira" e "melhor modelo para o problema" nem sempre coincidem. Um sistema de 4B, construído com dado bom e arquitetura direcionada, superou modelos cem vezes maiores na tarefa que ele foi desenhado para resolver — entender quando as coisas acontecem em vídeo. É uma vitória estreita, mas ela aponta para onde a próxima rodada de ganhos em multimodal provavelmente vem: menos "modelo que faz tudo", mais dado e arquitetura desenhados para o problema certo.
Perguntas Frequentes
O que é "grounding temporal" em vídeo?
É a capacidade de um modelo apontar exatamente quando um evento ocorre num vídeo — o segundo inicial e final de uma ação, por exemplo — em vez de só descrever o que aparece na cena. É medido em mIoU (interseção sobre união média), que compara o intervalo de tempo previsto pelo modelo com o intervalo real anotado por humanos.
Como um modelo de 4B supera modelos como GPT-5 e Gemini?
Porque o benchmark em questão (TimeLens) mede especificamente percepção temporal fina, uma capacidade que modelos generalistas não priorizam no treino. O VideoChat3 foi construído com dados sintéticos desenhados só para isso, trocando amplitude por profundidade num problema específico.
O que significa "I3D-ViT"?
É um Vision Transformer (o tipo de rede que processa imagens dividindo-as em blocos, ou "patches") adaptado para vídeo: em vez de olhar cada frame isoladamente, ele agrupa frames consecutivos e aplica atenção conjunta no espaço e no tempo, comprimindo a informação visual sem descartar quando cada coisa aconteceu.
