Escalando com Confiança: Calibrando a Confiança de LLMs para Escalonamento Adaptativo em Tempo de Teste
arXiv:2607.01612v1 Tipo de anúncio: novo Resumo: Treinar grandes modelos de linguagem (LLMs) com aprendizado por reforço (RL) avançou significativamente seu desempenho em tarefas de raciocínio e resposta a perguntas. No entanto, os projetos de recompensa de RL predominantes normalmente priorizam a correção das respostas, deixando de incentivar os modelos a expressar sua confiança com precisão. Isso leva a um problema crítico: os ganhos de desempenho costumam ser acompanhados por uma calibração ruim entre confiança e precisão, induzindo m...
arXiv cs.AI
·Xuqing Yang, Yi Yuan, Shanzhe Lei, Xuhong Wang
·
// relacionados
Leia também
Blog
O complicado problema do Claude Code com a China envolve proibições dos dois lados do Pacífico
Blog
AI Security Institute do Reino Unido descobre que benchmarks padrão subestimam sistematicamente o que agentes de IA realmente conseguem fazer
Dataset
ByteDance-Seed/EdgeBench
Blog