Quando os LLMs concordam, eles estão certos? Auditando a autoconsistência e a concordância entre modelos como sinais de confiança

arXiv:2607.08065v1 Tipo de anúncio: novo Resumo: O LLM-como-juiz (Zheng et al., 2023) é cada vez mais o padrão para avaliar sistemas de IA em pipelines corporativos, muitas vezes escalado para ensembles (Verga et al., 2024) ou painéis de juízes no formato "mistura de especialistas" (Shazeer et al., 2017). Esses sistemas compartilham uma premissa fundamental: a de que a consistência — a concordância entre os juízes, ou entre as próprias amostras de um modelo — indica correção. Mostramos que essa premissa não é confiável. Concordância não é acurácia: um modelo pode concordar com...