Otimizando Contra Representações de Segurança: Sufixos Adversariais Guiados por Ativação e a Geometria da Recusa

arXiv:2607.08883v1 Tipo de Anúncio: novo Resumo: O alinhamento comportamental em grandes modelos de linguagem frequentemente mascara representações internas de segurança frágeis. Trabalhos recentes sugerem que o comportamento de recusa é mediado por direções de baixa dimensionalidade no espaço de ativação. Isso levanta questões sobre como essas representações são estruturadas, localizadas e acessadas pela otimização. Estudamos ataques de sufixo adversarial como uma sonda do alinhamento representacional. Apresentamos o GCG Guiado por Ativação, que substitui o b... baseado em saída

arXiv cs.LG ·Ege \c{C}akar, Hannah Guan, Kayden Kehe ·
compartilhar: