A prova é o teste: um benchmark que separa acertar a resposta de justificá-la

Há uma diferença enorme entre saber que algo é verdade e conseguir provar que é. Um estudante pode chutar a resposta certa de um problema de cálculo; demonstrá-la, passo a passo, sem furos no argumento, é outra coisa. É essa segunda habilidade — a matemática de verdade, a das provas — que os benchmarks de IA raramente mediam, porque avaliar uma cadeia de raciocínio é muito mais difícil do que conferir um número final.

O AdvancedMathBench (arXiv 2607.11849), publicado por pesquisadores da Intern Large Models e um dos destaques do Hugging Face nesta segunda-feira com 19 upvotes, mira exatamente esse buraco. Ele avalia geração de provas em nível de graduação e de exame de qualificação de doutorado — e faz uma pergunta ainda mais incômoda: o modelo consegue julgar se uma prova está correta?

Dois testes, duas habilidades distintas

O benchmark tem duas partes. A primeira, o ProverBench, reúne 296 problemas que vão do nível de graduação ao dos exames de qualificação de doutorado, e cobra do modelo a demonstração completa. A segunda, o VerifierBench, é a mais engenhosa: 888 tentativas de prova geradas por modelos, cada uma anotada por especialistas humanos como válida ou inválida. A tarefa aqui não é provar — é avaliar uma prova alheia e dizer se ela se sustenta.

Essa separação importa porque as duas habilidades não andam juntas. Gerar um argumento plausível e detectar a falha num argumento plausível são operações diferentes, e a segunda é a base de toda a confiabilidade. Um modelo que produz provas mas não sabe reconhecer uma prova falsa é um matemático que escreve com confiança e não sabe revisar — perigoso justamente por parecer competente.

O ponto cego: reconhecer o erro

O resultado mais falante não está na geração, mas na verificação. Mesmo o melhor modelo testado — GPT-4.5 no modo de esforço máximo — patina ao decidir se uma prova é válida, e patina sobretudo em detectar as inválidas. Traduzindo: o modelo tende a dar o benefício da dúvida a demonstrações que estão erradas. É o viés mais perigoso possível num verificador, porque significa deixar passar o falso como verdadeiro.

Isso tem uma consequência prática direta. Boa parte do entusiasmo recente com IA em matemática se apoia na ideia de que modelos poderiam checar o próprio trabalho — gerar muitas tentativas e filtrar as boas. Se a habilidade de verificar é justamente a mais fraca, esse filtro é furado no ponto que mais importa. O AdvancedMathBench coloca número nesse ceticismo: 65,1 de F1 balanceado na verificação é um resultado que não sustenta a promessa de auto-correção confiável.

Por que um verificador automático fecha o ciclo

Avaliar provas em escala esbarra num gargalo humano: só um especialista sabe dizer se uma demonstração de nível de doutorado está correta, e especialistas são caros e lentos. Por isso o trabalho inclui um verificador automático, treinado nas anotações dos especialistas, que entrega dois tipos de julgamento — o veredito de correção e uma análise detalhada dos erros. Os autores afirmam que ele se alinha bem com os humanos em trajetórias que não viu no treino.

É uma peça de infraestrutura mais do que um modelo de ponta, e é aí que está seu valor. Benchmarks de matemática avançada só ganham utilidade se puderem ser aplicados em massa, sem chamar um professor para cada prova. Um verificador confiável é o que transforma um conjunto de 296 problemas num teste que se pode rodar continuamente, sobre cada modelo novo que aparecer.

As ressalvas

Como sempre, cautela. É um preprint, o verificador automático herda as limitações de quem treina em anotações humanas — que também erram — e "alinha-se bem com especialistas" é uma afirmação que a revisão por pares ainda vai apertar. Os 296 problemas do ProverBench são um recorte da matemática avançada, não seu todo, e a fronteira entre "graduação difícil" e "qualificação de doutorado" é mais borrada do que um número sugere. Há ainda o risco, comum a todo benchmark público, de contaminação: uma vez conhecidos, os problemas podem vazar para os dados de treino dos próximos modelos.

Nada disso apaga a contribuição. O que este trabalho faz de mais valioso é separar duas perguntas que costumavam se confundir — "o modelo acerta?" e "o modelo sabe quando errou?" — e mostrar, com número, que a segunda continua sendo a difícil.

O que fica

A matemática sempre foi menos sobre respostas e mais sobre justificativas: uma conjectura só vira teorema quando alguém prova. O AdvancedMathBench devolve esse critério ao teste dos modelos e expõe um desequilíbrio revelador — eles escrevem provas com desenvoltura, mas ainda leem provas com ingenuidade. Enquanto a máquina que demonstra não for tão boa quanto a que desconfia, a promessa de uma IA que faz matemática sozinha continua sendo, ela mesma, uma conjectura à espera de prova.

Perguntas Frequentes

Por que avaliar provas e não só respostas?

Porque acertar o resultado e demonstrá-lo com rigor são coisas diferentes. Um modelo pode chegar à resposta certa por um caminho errado. A matemática avançada é feita de provas, e avaliar a cadeia de raciocínio — não só o número final — mede a habilidade que de fato importa.

Por que a verificação é mais difícil que a geração?

Porque gerar um argumento plausível e detectar a falha num argumento plausível são operações distintas. Os modelos testados escrevem provas razoavelmente bem, mas patinam ao julgar se uma prova alheia é válida — sobretudo ao identificar as inválidas, deixando erros passarem por corretos.

O que é o F1 balanceado citado?

É uma medida que combina a capacidade de acertar tanto as provas válidas quanto as inválidas, sem ser enganada por um desequilíbrio entre elas. Os 65,1 do melhor modelo indicam desempenho modesto — bem abaixo dos acertos na geração de provas, o que expõe a fraqueza na hora de verificar.