CARE-LoRA: Reconstrução de Ativações Comprimidas para LoRA com Uso Eficiente de Memória

arXiv:2607.11940v1 Tipo de anúncio: novo Resumo: À medida que a escala dos grandes modelos pré-treinados continua a crescer, ajustá-los (fine-tuning) sob orçamentos de memória limitados tem se tornado cada vez mais desafiador. A Adaptação de Baixo Posto (LoRA), atualmente um dos métodos de ajuste fino eficiente em parâmetros (PEFT) mais amplamente adotados, atenua esse desafio ao otimizar apenas matrizes de adaptação de baixo posto, reduzindo assim enormemente o número de parâmetros treináveis. Com a sobrecarga de parâmetros substancialmente reduzida, a ac...