Explicando autovalores da Hessiana próximos de zero por meio de simetrias aproximadas em redes neurais

arXiv:2607.07845v1 Tipo de anúncio: novo Resumo: A Hessiana da perda de treinamento governa a geometria local do panorama de perda; no entanto, apesar das explicações existentes para seus maiores autovalores, a origem da vasta multidão de autovalores que se aproximam de zero permanece elusiva. Argumentamos que o grosso deles consiste nos modos pseudo-Goldstone fracamente elevados das simetrias contínuas da parametrização da rede. Em redes lineares profundas essas simetrias são exatas: elas geram direções planas e ...