ExToken: Exploração estruturada para ajuste fino eficiente de modelos Visão-Linguagem-Ação por aprendizado por reforço

arXiv:2607.12931v1 Tipo de anúncio: novo Resumo: O Aprendizado por Reforço (RL) demonstrou um potencial significativo para aprimorar modelos de Visão-Linguagem-Ação (VLA) em tarefas complexas de manipulação. No entanto, sua escalabilidade prática permanece severamente limitada pelo custo substancial das interações com o ambiente. Neste trabalho, primeiro investigamos o gargalo de estagnação da exploração nos atuais frameworks de VLA-RL e revelamos que a diversidade de trajetórias é fundamentalmente mais importante para a eficiência amostral...