Reward Hacking Multimodal em Aprendizado por Reforço

arXiv:2607.09492v1 Tipo de anúncio: novo Resumo: O aprendizado por reforço (RL) é cada vez mais usado para alinhar grandes modelos de linguagem multimodais (MLLMs), mas recompensas mais altas nem sempre implicam melhor desempenho na tarefa. Esse risco é amplificado quando evidências visuais são avaliadas por recompensas somente de texto ou fracamente fundamentadas. Estudamos o reward hacking em RL de MLLMs em cenários de VQA de segurança, VQA de gráficos e testes de estresse, variando o design da recompensa, a ambiguidade dos dados, a escala do modelo (2B-32B) e o algoritmo de RL (GRPO, RLOO, DAPO). W...