Mergulhe nos Vieses Implícitos do Alinhamento Visão-Linguagem de Baixo Posto

arXiv:2607.08194v1 Tipo de anúncio: novo Resumo: O alinhamento visão-linguagem, a etapa que faz a ponte entre codificadores visuais pré-treinados e grandes modelos de linguagem, é amplamente tratado como uma forma de pré-treinamento que exige a atualização de todos os parâmetros. Nós contestamos essa visão e investigamos o que acontece quando, em vez disso, a adaptação de baixo posto é aplicada ao LLM durante essa etapa. Descobrimos que o alinhamento de baixo posto não apenas reduz os custos computacionais, como também supera o alinhamento com todos os parâmetros na maioria dos benchmarks. Para entend...