MOSS-VL: um modelo que continua enxergando enquanto fala

Quase todo modelo de visão e linguagem trabalha do mesmo jeito: a imagem é convertida em algumas centenas de tokens, esses tokens são colados no começo da conversa e o modelo gera a resposta olhando para aquele instantâneo. Funciona muito bem para descrever uma foto. Funciona muito mal para acompanhar o mundo em movimento — porque, no exato momento em que o modelo começa a falar, ele parou de ver.

É uma limitação estrutural que a indústria vinha contornando com paliativos: recortar o vídeo em janelas, reprocessar tudo a cada poucos segundos, aceitar que a resposta descreve o passado. O MOSS-VL, família de modelos abertos publicada pelo OpenMOSS, propõe uma solução de arquitetura em vez de um paliativo — e o resultado aparece onde mais dói: na latência.

O problema é onde os tokens visuais moram

A escolha central é quase cirúrgica. No MOSS-VL, o decodificador de linguagem não recebe os tokens visuais na sua sequência. Ele acessa a visão exclusivamente através de cross-attention com portas — camadas dedicadas que consultam o encoder visual sob demanda, com um mecanismo de comporta controlando quanto daquela informação entra.

A consequência é direta e vale entender devagar. Quando os tokens visuais vivem dentro da sequência gerada, cada quadro novo alonga a sequência, e o custo da atenção cresce quadraticamente com esse comprimento. Um vídeo de dois minutos vira um contexto gigantesco que precisa ser reprocessado. Quando a visão fica fora — consultada lateralmente —, a sequência decodificada permanece curta, e quadros novos podem chegar durante a geração sem invalidar nada do que já foi computado.

O modelo, literalmente, continua vendo enquanto fala. Um XRoPE — codificação de posição rotacional adaptada à cross-attention — mapeia texto e conteúdo visual num espaço de coordenadas 3D comum, para que a ancoragem temporal permaneça precisa: o modelo sabe que o evento aconteceu agora, não em algum ponto indefinido do buffer.

Ensinar quando calar

A parte menos óbvia do trabalho não é arquitetural, é de dados. Um modelo que percebe continuamente enfrenta um problema que modelos de turno nunca enfrentaram: decidir quando vale a pena falar. Um assistente que comenta tudo que vê é inutilizável tão rapidamente quanto um que não comenta nada.

Os autores construíram um corpus sintético de interação que supervisiona exatamente essas três decisões: quando falar, quando permanecer em silêncio e quando revisar algo que já foi dito porque a cena mudou. É um sinal de treino que não existe em dados de vídeo legendado — ninguém anota o silêncio.

O treino segue um currículo em estágios com uma escolha pragmática: toda a especialização em tempo real é concentrada num único estágio final leve, aplicado sobre uma base offline já forte. Na prática, isso significa que o modelo não paga em capacidade geral pelo que ganha em reatividade — e que a receita é replicável sobre outras bases.

Os números

O número mais revelador é o último da lista de latência. Que um modelo seja mais rápido é comum; que a vantagem cresça com o contexto é a assinatura de uma diferença assintótica, não de otimização de implementação. É a evidência de que a arquitetura, e não o ajuste fino, é o que está pagando.

Já o 66,0 contra 37,5 pede a leitura cética de sempre. Alerta proativo é uma tarefa jovem, com benchmarks jovens, e a comparação é declaradamente entre modelos abertos de streaming — um campo ainda pequeno. Uma vantagem de quase o dobro num teste desses indica que o mecanismo funciona; não indica que o problema esteja resolvido.

Por que latência é a métrica que importa aqui

Há uma assimetria que os rankings de capacidade escondem. Num assistente de texto, meio segundo a mais é irritação. Num sistema que observa o mundo — assistência a quem tem baixa visão, monitoramento de processo industrial, um agente que acompanha a tela enquanto você trabalha —, meio segundo a mais é a diferença entre um aviso útil e um aviso sobre algo que já aconteceu.

É por isso que a decisão de tirar a visão da sequência decodificada é mais interessante que qualquer ponto percentual em benchmark de descrição de imagem. Ela ataca o custo estrutural em vez de espremer constante. E, como o OpenMOSS publicou os cinco checkpoints junto com o currículo e o código de inferência, é uma receita verificável — não uma alegação de blog.

O rumo geral fica claro quando se olha o conjunto: o modelo multimodal deixa de ser algo a que se envia uma imagem e se torna algo que fica ligado, olhando. Essa transição não se ganha com mais parâmetros. Ganha-se decidindo, com cuidado, o que precisa estar dentro da sequência — e o que não precisa.

Perguntas Frequentes

O que é cross-attention com portas, em linguagem simples?

Atenção cruzada é o mecanismo pelo qual uma parte do modelo consulta outra: aqui, o decodificador de texto consulta o encoder de imagem sem misturar os dois num fluxo só. A "porta" é um controle aprendido que regula quanto dessa informação visual entra em cada camada — o que evita que a visão domine a geração quando não é relevante e permite ignorá-la quando o texto basta.

Por que os tokens visuais fora da sequência reduzem a latência?

Porque o custo da atenção cresce com o quadrado do comprimento da sequência. Colocar centenas de tokens de imagem dentro dela infla esse comprimento antes mesmo de a resposta começar — e cada quadro novo o infla de novo. Mantendo a visão do lado de fora, a sequência decodificada continua curta e o tempo até o primeiro token quase não sofre com o crescimento do contexto visual.

O que é OmniMMI Proactive Alerting?

É o subteste que mede se o modelo avisa sobre algo relevante sem ter sido perguntado — o comportamento proativo. Diferentemente de responder a uma pergunta sobre um vídeo, exige decidir sozinho que aquele instante merece uma fala. É a métrica mais próxima do que se espera de um assistente que fica observando.

Dá para rodar localmente?

Sim. Os pesos estão no Hugging Face e as variantes quantizadas em FP8 e NF4 são descritas como executáveis numa única GPU de 24 GB. O código de inferência em tempo real também foi publicado, o que importa: um modelo de streaming sem o runtime correspondente é difícil de avaliar honestamente.

Isso substitui um modelo multimodal de propósito geral?

Não necessariamente. A variante Instruct é descrita como competitiva na sua faixa de tamanho e forte em raciocínio temporal sobre vídeo, mas o diferencial da família está no cenário de interação contínua. Para tarefas offline de imagem única, modelos maiores seguem à frente — o ganho aqui é de tempo de resposta e de comportamento, não de teto de capacidade.