Quando Tokens Implausíveis São Reforçados: Calibração de Crédito Consciente da Cauda para Aprendizado por Reforço de LLMs

arXiv:2607.07976v1 Tipo de anúncio: novo Resumo: O aprendizado por reforço (RL) alcançou um sucesso notável no aprimoramento das capacidades de raciocínio de grandes modelos de linguagem (LLMs). No entanto, métodos de RL sem crítico amplamente utilizados dependem de uma atribuição de crédito uniforme, transmitindo a mesma vantagem a todos os tokens, independentemente de suas diferenças. Identificamos um modo de falha crítico desse design, que chamamos de Contaminação de Crédito Positivo: tokens de cauda de baixa probabilidade que são contextualmente errône...