Estamos Mesclando os Modelos Certos? Impacto da Duração do Treinamento dos Especialistas na Mesclagem de Modelos para LLMs

arXiv:2607.11997v1 Tipo de anúncio: novo Resumo: A mesclagem de modelos multitarefa combina modelos especialistas treinados separadamente em um único modelo que lida com todas as tarefas sem treinamento conjunto. A prática padrão mescla os especialistas em sua perda de validação ótima. Nós questionamos essa convenção ao estudar sistematicamente como a duração do treinamento dos especialistas de domínio afeta a qualidade do modelo mesclado. Fizemos o ajuste fino de especialistas em cinco domínios (Matemática, Código, Seguimento de Instruções, Multilíngue e Segurança) em três modelos...