O Escalonamento Ótimo da Taxa de Aprendizado Depende dos Dados em Redes Lineares Escalares Profundas

arXiv:2607.07884v1 Tipo de Anúncio: novo Resumo: Nesta breve nota, consideramos a dinâmica de descida de gradiente de redes lineares escalares profundas, $f(x) = \prod_{l=1}^L w_l x$, que possuem soluções exatas de evolução temporal para qualquer profundidade inteira. Mostramos que, mesmo neste modelo mínimo, o escalonamento ótimo da taxa de aprendizado por camada depende dos dados, enquanto regras de escalonamento agnósticas aos dados falham em transferir entre profundidades. Sob o escalonamento ótimo dependente dos dados, a dinâmica de aprendizado é independente dos dados e fraca...