Treinando, Lendo e Editando Transformers Legíveis

arXiv:2607.08946v1 Tipo de Anúncio: novo Resumo: Um transformer pode ser construído a partir de operadores que são legíveis por construção — unidades limitadas e nomeadas que se leem como operações de conjuntos difusos em vez de ativações densas — mas a legibilidade precisa ser cobrada durante o treinamento, e essa cobrança tem um modo de falha. Uma penalidade de nitidez que deveria afiar um operador limitado, transformando-o em um detector decisivo, em vez disso o faz colapsar em uma constante morta. Uma identidade, E[v(1-v)] = mu(1-mu) - var, mostra por quê — a penalidade é uma va...