Overthinking: Amplificando pesos de raciocínio para extrair segredos aprendidos

arXiv:2607.08173v1 Tipo de anúncio: novo Resumo: A auditoria de caixa-preta de modelos de linguagem é uma ferramenta essencial de pré-implantação, mas pode deixar passar formas sutis de desalinhamento e informações ocultas. Para extrair melhor informações ocultas durante um processo de auditoria, apresentamos o \emph{overthinking}: o processo de usar vetores de tarefa de raciocínio para amplificar a propensão de modelos de raciocínio a pensar em voz alta. Dados os parâmetros de um modelo instruct sem raciocínio $M$ e de um modelo destilado com raciocínio $R$, defi...