ReCoLoRA: Consolidação Recursiva Ciente do Espectro para Ajuste Fino Contínuo de LLMs

arXiv:2607.07719v1 Tipo de anúncio: novo Resumo: O ajuste fino eficiente em parâmetros adapta um grande modelo de linguagem a uma tarefa de forma barata, mas ao longo de uma sequência de tarefas os métodos no estilo LoRA continuam empilhando atualizações de baixo posto sobre o mesmo peso congelado, de modo que cada nova tarefa tende a sobrescrever as anteriores. Apresentamos o ReCoLoRA (Consolidação Recursiva de Adaptadores de Baixo Posto), um arcabouço ciente do espectro para o ajuste fino contínuo: os adaptadores são inicializados a partir de uma SVD aleatorizada do peso pré-treinado, o efetivo por camada...