OrbitQuant: comprimir modelos de imagem e vídeo sem ter de recalibrar a cada troca

Modelos de difusão que geram imagem e vídeo — a família por trás de ferramentas como FLUX e os geradores de vídeo mais recentes — são caros de rodar por dois motivos que se somam: têm muitos parâmetros e geram o resultado em vários passos, refinando o ruído aos poucos. Uma forma consagrada de baratear isso é a quantização: representar os números do modelo com menos bits (por exemplo, 4 em vez de 16), o que reduz memória e acelera o cálculo.

O problema é que a quantização "pós-treino" desses modelos tem um calcanhar de aquiles. Os valores internos que passam pela rede variam demais — de um passo de tempo para outro, de um prompt para outro, entre os ramos de orientação do gerador. Por isso os métodos atuais precisam recalibrar com dados de exemplo a cada novo checkpoint ou modalidade. Troca o modelo, recalibra. Passa de imagem para vídeo, recalibra de novo. É um custo escondido que atrapalha a adoção em escala.

O truque: girar o espaço para domar os números

O OrbitQuant, desenvolvido na Cantina, Inc., ataca isso com uma ideia geométrica. Antes de quantizar, ele aplica uma rotação específica aos valores — uma rotação de Hadamard em blocos, permutada e aleatorizada (RPBH). O efeito curioso dessa transformação é que, na nova "base girada", cada coordenada passa a se concentrar em torno de uma distribuição fixa e conhecida — independentemente do passo de tempo, do prompt ou da modalidade.

Uma vez que os números se comportam de forma previsível, deixa de ser preciso ajustar a calibragem a cada situação. Uma única tabela de quantização (um codebook de Lloyd-Max) serve para todos os passos, prompts e camadas de uma dada dimensão. E como a rotação pode ser "absorvida" pelos pesos do modelo fora de execução — cancelando-se dentro das camadas lineares —, o custo em tempo real é mínimo: sobra só a rotação das ativações no caminho de ida.

Os números

O OrbitQuant alcança configurações agressivas como W2A4 — 2 bits para os pesos e 4 para as ativações — mantendo qualidade de geração utilizável, um patamar em que a maioria dos métodos degrada de forma visível. Foi testado em modelos de imagem e de vídeo — FLUX.1, Z-Image-Turbo, Wan 2.1 e CogVideoX — e, segundo os autores, estabelece resultados de estado da arte em vários cenários de baixa precisão. O ponto mais elegante: a mesma abordagem transfere de imagem para vídeo sem ajuste por modalidade, exatamente a promessa do "data-agnostic" no nome.

Por que isso importa

A geração de imagem e vídeo é uma das cargas mais pesadas da IA generativa, e o custo de inferência é o que separa uma demonstração de um produto que roda barato para milhões de usuários. Métodos de quantização que exigem recalibrar a cada modelo criam atrito operacional: cada novo checkpoint vira um projetinho de engenharia. Uma calibragem que vale para tudo — de um gerador de imagem novo a um modelo de vídeo — reduz esse atrito a quase zero. Não é um modelo mais capaz; é a mesma capacidade servida por uma fração do custo, que na prática é o que decide o que dá para colocar em produção.

O que fica em aberto

"Qualidade utilizável" a 2 bits é uma afirmação que pede olho humano: as métricas automáticas de fidelidade nem sempre capturam artefatos que o observador percebe, e o veredito final sobre geração visual costuma ser perceptual. Falta ver avaliações independentes lado a lado, nas mesmas imagens, contra os métodos concorrentes. E falta saber como o ganho se comporta nos modelos de vídeo mais longos e pesados, onde os erros de quantização têm mais passos para se acumular. Por ora, a ideia geométrica é limpa e a promessa de custo é concreta — o restante é medir.

Perguntas Frequentes

O que é quantização de um modelo?

É representar os números internos do modelo com menos bits de precisão — por exemplo, 4 bits em vez de 16. Isso reduz o uso de memória e acelera os cálculos, ao custo de alguma perda de precisão que se tenta minimizar.

O que significa "data-agnostic" aqui?

Significa não precisar de dados de calibragem específicos para cada situação. Graças à rotação aplicada aos valores, uma única configuração de quantização serve para todos os passos de tempo, prompts e modalidades, sem recalibrar a cada troca de modelo.

Por que testar em imagem e vídeo?

Para mostrar que o método transfere entre modalidades sem ajuste. O trabalho usou modelos de imagem (como FLUX.1 e Z-Image-Turbo) e de vídeo (Wan 2.1 e CogVideoX), aplicando a mesma abordagem a todos.

Nem todo avanço em IA é um modelo que sabe mais. O OrbitQuant é do outro tipo — o da engenharia que faz o mesmo modelo caber em menos, rodar mais rápido e custar menos. É menos vistoso que um lançamento de fronteira, e provavelmente mais determinante para o que, de fato, chega ao usuário.