RoCo-ACE: Destilação Online Condicionada por Rollout para Injeção de Conhecimento Consciente da Retenção

arXiv:2607.24771v1 Tipo de anúncio: novo Resumo: A injeção de conhecimento atualiza MLLMs pré-treinados com conhecimento factual ou específico de domínio novo, mas ajustar respostas autoritativas completas pode causar desvios em comportamentos não atualizados. A destilação online mitiga esse desvio ao treinar com rollouts gerados pelo modelo, porém a destilação uniforme condicionada por referência fornece uma supervisão grosseira: ela pode dar ênfase insuficiente aos tokens de rollout apoiados pela referência e supervisionar fatos omitidos apenas de forma indireta. Nós apresentamos o RoCo-A...