Mistura de Sondas: Aprendendo com Modalidades Privilegiadas em LLMs Multimodais Através de Sondagem

arXiv:2607.08839v1 Tipo de Anúncio: novo Resumo: Os Grandes Modelos de Linguagem Multimodais (MLLMs) são normalmente projetados sob a suposição de que todas as modalidades disponíveis durante o treinamento também estarão acessíveis na inferência. No entanto, muitos cenários do mundo real violam essa suposição, exigindo que os modelos operem sob uma configuração de modalidade privilegiada, na qual as modalidades auxiliares estão disponíveis apenas durante o treinamento. Embora essas modalidades contenham informações valiosas, os MLLMs existentes em grande parte não conseguem aproveitar as...