DataComp-VLM: a lição de que misturar dados, não filtrar, é o que faz um bom modelo multimodal

Há uma pergunta que os anúncios de modelo raramente respondem com honestidade: o que, exatamente, faz um modelo ser bom? Boa parte da resposta está nos dados de treino — mas os dados são o ingrediente mais opaco de toda a receita. Cada laboratório guarda a sua mistura, e o resto do campo fica adivinhando. O DataComp-VLM (ou DCVLM) tenta abrir essa caixa-preta para os modelos de visão e linguagem, os que entendem imagem e texto juntos.

A proposta segue uma linhagem já conhecida na área: em vez de competir por quem treina o modelo maior, fixa-se a arquitetura e o orçamento de treino e deixa-se variar apenas os dados. Assim dá para medir, de forma controlada, o que cada escolha de dados provoca — transformando "curadoria de dados" de arte intuitiva em algo mensurável e comparável.

Um campo de provas de 6 trilhões de tokens

O DCVLM monta um verdadeiro campo de provas: 160 conjuntos de dados somando 6 trilhões de tokens multimodais, organizados em quatro categorias — pares de imagem e legenda, documentos multimodais, dados só de texto e material de ajuste por instrução. Sobre essa base, permite experimentos em modelos de 1 a 8 bilhões de parâmetros e orçamentos de treino de 6,25 a 200 bilhões de tokens, com avaliação em até 52 benchmarks distribuídos por 9 domínios.

Misturar vence filtrar

O achado principal contraria uma intuição arraigada. Nos últimos anos, muito esforço de curadoria foi gasto em filtrar — descartar dados de baixa qualidade na esperança de sobrar só o bom. O DCVLM encontra que o que mais move o ponteiro é a mistura: a proporção entre os tipos de dado. Especificamente, misturas ricas em dados de instrução superam as centradas em legendas, e — o detalhe importante — essa vantagem aumenta conforme o modelo cresce. O que funciona num modelo pequeno pode subestimar o que funciona num grande.

Não é retórica: a receita derivada desses experimentos, batizada de DCVLM-Baseline, atinge 63,6% de acerto numa suíte central de 33 tarefas usando 200 bilhões de tokens de treino — 5,4 pontos percentuais acima do FineVision, que era o melhor conjunto de dados aberto até então. Um ganho dessa ordem, vindo só de reorganizar a mistura de dados, é o tipo de resultado que raramente ganha manchete e frequentemente decide o placar.

Por que isso importa

Dados são a vantagem competitiva que os laboratórios menos compartilham. Um benchmark aberto que permite estudar, de forma reproduzível, qual mistura de dados produz qual capacidade nivela um pouco esse jogo — dá a times menores e à academia uma ferramenta para descobrir receitas sem ter de treinar às cegas. E o achado prático é acionável: antes de sair filtrando dados agressivamente ou caçando o próximo conjunto "limpo", talvez o ganho maior esteja em acertar as proporções do que já se tem, com peso extra para dados de instrução. Vale a ressalva de escopo: os experimentos vão até 8 bilhões de parâmetros — se a lição da mistura se mantém nos modelos de fronteira, muito maiores, é uma extrapolação que os próprios autores tratam como direção, não certeza.

O que fica em aberto

O teto de 8 bilhões de parâmetros é a principal ressalva: as maiores tendências ("a vantagem da instrução cresce com a escala") sugerem que os efeitos podem ser ainda mais fortes nos modelos grandes, mas isso precisa ser verificado onde de fato importa comercialmente. Fica também a pergunta de generalização: 52 benchmarks são muitos, mas ainda são um recorte — misturas que vencem nessa suíte podem não vencer em tarefas fora dela. O valor imediato, porém, independe dessas respostas: é a existência de um campo de provas aberto onde a comunidade pode continuar testando.

Perguntas Frequentes

O que é o DataComp-VLM?

É um benchmark aberto para experimentos controlados de dados em modelos de visão e linguagem. Ele fixa arquitetura e orçamento de treino e deixa variar só os dados, permitindo medir qual mistura de dados produz qual desempenho.

Por que "misturar vence filtrar"?

Porque os experimentos mostraram que ajustar as proporções entre os tipos de dado (por exemplo, dar mais peso a dados de instrução) melhora mais o modelo do que simplesmente descartar dados de baixa qualidade. E essa vantagem cresce com o tamanho do modelo.

O benchmark é aberto?

Sim. Os autores informam que o DCVLM e todos os artefatos associados serão disponibilizados publicamente, para que a comunidade possa reproduzir os experimentos e testar novas misturas de dados.

Boa parte do progresso em IA é invisível porque acontece na camada mais fechada de todas: os dados. O DataComp-VLM não lança um modelo — lança uma régua. E, ao fazê-lo, transforma uma das decisões mais intuitivas do campo em algo que finalmente se pode medir, comparar e discutir em público.