Inicialização por Componentes Guiada pela Complexidade para o Pré-treinamento de Modelos de Linguagem

arXiv:2607.09204v1 Tipo de anúncio: novo Resumo: Modelos de linguagem pré-treinados frequentemente exibem espectros de pesos estruturados, sugerindo que o treinamento pode produzir repetidamente uma organização semelhante por camadas e por componentes. Perguntamos se esses padrões espectrais recorrentes podem ser reutilizados como um sinal de inicialização para o pré-treinamento de modelos de linguagem no estilo GPT-2. Primeiro, analisamos onze checkpoints pré-treinados no estilo GPT-2 que variam em tamanho, idioma, tokenizador e corpus de treinamento, medindo a norma de Frobenius e ...