Otimizando Contra Representações de Segurança: Sufixos Adversariais Guiados por Ativação e a Geometria da Recusa
arXiv:2607.08883v1 Tipo de Anúncio: novo Resumo: O alinhamento comportamental em grandes modelos de linguagem frequentemente mascara representações internas de segurança frágeis. Trabalhos recentes sugerem que o comportamento de recusa é mediado por direções de baixa dimensionalidade no espaço de ativação. Isso levanta questões sobre como essas representações são estruturadas, localizadas e acessadas pela otimização. Estudamos ataques de sufixo adversarial como uma sonda do alinhamento representacional. Apresentamos o GCG Guiado por Ativação, que substitui o b... baseado em saída
arXiv cs.LG
·Ege \c{C}akar, Hannah Guan, Kayden Kehe
·
// relacionados
Leia também
Blog
As alegações mais escandalosas no processo da Apple contra a OpenAI por segredos comerciais
Blog
O que a mais recente descoberta em IA da Anthropic mostra — e o que não mostra
Blog
Novo guia de prompts da OpenAI diz aos usuários para parar de complicar e começar pelo resultado
Blog