MPIE-Bench: o abraço que o modelo gera com três braços — e o juiz que dá nota 0,95

Peça a um editor de imagem por IA para colocar duas pessoas específicas num abraço. O resultado costuma ser convincente à primeira vista e desmoronar no segundo olhar: um braço a mais saindo de algum lugar, uma perna que atravessa o corpo do outro, uma mão fundida a um ombro. Qualquer pessoa detecta em meio segundo.

O MPIE-Bench, publicado esta semana e o paper mais votado do ciclo no Hugging Face, mede exatamente essas falhas — e encontra, no caminho, um problema maior que o dos editores. Os juízes automáticos usados hoje para avaliar edição de imagem, quase todos baseados em modelos de visão e linguagem, dão nota acima de 0,95 para as mesmas imagens em que humanos apontam membros fundidos na hora.

O ponto cego é do avaliador, não só do gerador

Esse descompasso merece ser dito devagar, porque contamina uma parte considerável da literatura recente. Virou prática padrão avaliar geração de imagem pedindo a um VLM que preencha uma lista de verificação: as duas pessoas estão presentes? A instrução foi seguida? A qualidade é boa? É barato, escala e correlaciona razoavelmente com julgamento humano — em imagens fáceis.

Em cenas de contato denso, essa correlação se rompe. O VLM confirma que há duas pessoas se abraçando, marca todos os itens da lista e devolve 0,95, sem registrar que uma delas ganhou um terceiro braço. O avaliador está resolvendo uma tarefa de reconhecimento, não de verificação anatômica, e essas tarefas divergem exatamente onde o problema fica difícil.

A consequência é desagradável: benchmarks que usam VLM como juiz vinham saturando perto do teto e sendo lidos como "problema resolvido". O que estava saturado era o instrumento.

Medir com geometria, não com opinião

A saída proposta pelos autores é trocar o julgamento por medição. O MPIE-Eval reconstrói as figuras geradas usando um modelo público e congelado de recuperação de malha humana, o Multi-HMR, e depois calcula propriedades geométricas dessa reconstrução em 3D.

Duas métricas novas saem daí. A de anatomia verifica se existe massa de aparência humana que a reconstrução não consegue explicar — o sinal típico de um membro extra ou fundido — e se os membros estão completos. A de interação mede penetração entre corpos, via aproximações de casco convexo, e distância entre superfícies, comparando com a intenção de contato declarada na instrução.

É a diferença entre perguntar a um modelo "essa imagem parece certa?" e calcular se dois volumes ocupam o mesmo espaço. A segunda pergunta tem resposta objetiva.

O truque de construção do dataset

Há uma sacada simples e boa na origem dos dados. Montar um par "antes e depois" para edição de múltiplas pessoas é difícil: você precisa de uma referência limpa da identidade de cada pessoa e de um alvo realista da interação entre elas.

Os autores foram buscar os dois no mesmo vídeo. Quadros em que as pessoas aparecem separadas fornecem as referências isoladas de identidade; quadros posteriores da mesma cena, em que elas entram em contato, fornecem o alvo. O resultado é um par real, fotografado, sem síntese no meio — o que elimina a circularidade de avaliar geradores usando alvos produzidos por geradores.

O que os dez editores mostram

O teto de 0,65 em anatomia e 0,72 em interação é baixo, e o detalhe importante é que nenhum modelo lidera nos dois eixos ao mesmo tempo. Quem preserva melhor a integridade dos corpos tende a errar o contato — aproxima demais ou de menos, atravessa —, e quem acerta o contato costuma pagar com anatomia deformada.

É um sinal de compromisso, não de imaturidade genérica: satisfazer a instrução de contato empurra os corpos para uma configuração que o modelo tem dificuldade de renderizar sem colapsar geometria. Os autores mantêm os seis eixos separados justamente por isso — colapsar tudo numa nota única esconderia a troca que define o problema.

A validação com humanos, com cinco avaliadores, confirma que os eixos baseados em malha acompanham o julgamento humano significativamente melhor que os VLMs zero-shot em cenas de contato denso, e o ranking se mantém estável em ablações de todos os pesos e limiares.

O que fica

O MPIE-Bench é menos um benchmark de edição de imagem e mais um lembrete metodológico com aplicação ampla: quando o avaliador é da mesma família de modelos que o avaliado, ele herda os mesmos pontos cegos. A saída aqui foi ancorar a medida em geometria 3D reconstruída — algo que existe fora do julgamento de qualquer modelo. Corpos que se atravessam viraram um número, e o número diz 0,65.

Perguntas Frequentes

O que é um juiz VLM?

É a prática de usar um modelo de visão e linguagem para avaliar automaticamente imagens geradas, normalmente respondendo a uma lista de verificação sobre a imagem. É barato e escalável, mas herda as limitações perceptuais do próprio modelo avaliador — que é justamente o que este trabalho expõe.

O que é recuperação de malha humana?

É a técnica que estima, a partir de uma foto 2D, um modelo tridimensional do corpo das pessoas na cena — posição das juntas, forma, orientação. O MPIE-Eval usa o Multi-HMR, público e congelado, para reconstruir os corpos e então medir sobreposições e distâncias em 3D.

Por que "penetração entre corpos" é uma boa métrica?

Porque é fisicamente impossível: dois corpos sólidos não ocupam o mesmo espaço. Se a reconstrução 3D indica que o braço de uma pessoa está dentro do tronco de outra, isso é um erro objetivo, não uma questão de gosto — e pode ser quantificado por volume de interseção.

Os níveis C0 a C3 medem o quê?

A densidade de contato pedida na instrução de edição, de nenhum contato (C0) a contato denso (C3), como num agarre ou abraço apertado. Separar por nível permite ver que os modelos degradam de forma acentuada conforme o contato aumenta, em vez de mostrar uma média que esconde essa curva.