RynnValue: o relógio do vídeo como recompensa para robôs

O gargalo do aprendizado por reforço em robótica não é o algoritmo — é quem diz ao robô se ele está indo bem. Em jogos, o placar resolve. Em matemática, o gabarito resolve. Numa cozinha real, com um braço tentando servir com uma espátula, alguém precisa julgar se aquele movimento aproximou ou afastou do objetivo. E "alguém" costuma significar humanos comparando pares de vídeos, uma anotação por vez.

O RynnValue, publicado por pesquisadores da DAMO Academy (Alibaba) e do Hupan Lab, propõe eliminar esse anotador. A ideia cabe numa frase: se você já tem o vídeo de uma demonstração bem-sucedida, então o carimbo de tempo de cada quadro já diz quanto falta até o fim. O rótulo estava lá o tempo todo.

Distância temporal em vez de preferência

Tecnicamente, o modelo aprende a prever a distância temporal: o custo direcionado para chegar de uma observação até o objetivo especificado em linguagem. É o que a literatura chama de cost-to-go, e a mudança de enquadramento é a contribuição central — sair de um problema de classificação (esta trajetória é melhor que aquela? este progresso é de 40% ou 60%?) para um problema de regressão sobre um custo condicionado ao objetivo.

A vantagem prática é a escala. Preferência exige julgamento humano; progresso normalizado exige que alguém defina o que é 50% da tarefa — uma âncora interna e arbitrária, que muda de tarefa para tarefa e de operador para operador. Distância temporal se extrai do relógio. Sete mil horas de vídeo viram rótulo sem que ninguém assista a nada.

E há um bônus de conversão: distância temporal vira recompensa densa por uma operação trivial — inverter o sinal. Quanto menos tempo falta, melhor. Isso dá ao RL um sinal a cada passo, em vez do sinal esparso e tardio que só chega quando a tarefa termina.

Quatro truques contra o atalho óbvio

Um leitor atento já percebeu o problema: se o rótulo é a posição no vídeo, o modelo pode aprender a contar quadros em vez de olhar para a cena. Seria um atalho perfeito — e inútil, porque num robô operando de verdade não existe um vídeo com fim conhecido.

O paper dedica boa parte do desenho a fechar essa porta. São quatro mecanismos:

Consultas temporais agrupadas — vários tokens de consulta repetidos por observação, permitindo uma representação temporal mais rica que um único escalar. Atenção com isolamento de valor — consultas temporais de observações diferentes são impedidas de atender umas às outras, o que força cada predição a se sustentar na evidência visual daquele instante, e não no contexto das vizinhas. Duas cabeças distribucionais — uma prevê a distância temporal absoluta, outra o deslocamento relativo, decompondo "onde estou" e "para onde fui". E embaralhamento de ordem temporal, a augmentação que quebra explicitamente a correspondência entre posição na sequência e progresso na tarefa.

Esse último é o mais direto: se a ordem dos quadros não prediz mais nada, contar deixa de ser estratégia viável. O modelo precisa olhar.

Os números, com a ressalva devida

No benchmark RBM-EVAL-OOD — o sufixo indica tarefas fora da distribuição de treino —, o RynnValue-8B alcança τₐ de Kendall de 0,675. A comparação relevante é dupla: supera o estado da arte totalmente supervisionado por preferência (0,655) e mais que dobra as linhas de base baseadas só em progresso (0,292).

Bater a supervisão por preferência sem usar nenhuma preferência é o resultado que sustenta a tese. Mas os saltos que realmente importam são os do robô físico: 52,5% para 72,5% em RL online, 63,8% para 82,5% em offline. Vinte pontos percentuais em tarefas de manipulação real é uma diferença que se enxerga sem microscópio.

Vale a calibração: são quatro famílias de tarefa, todas de manipulação em mesa ou móvel, e as taxas absolutas continuam longe de confiabilidade industrial — 82,5% significa uma falha a cada seis tentativas. O paper também reporta generalização zero-shot para tarefas, corpos e pontos de vista não vistos, sem ajuste fino; é o tipo de afirmação que só a reprodução independente confirma, e o código estar aberto no GitHub da DAMO ajuda nisso.

Por que um modelo de recompensa é a peça que faltava

A robótica passou os últimos anos empilhando modelos de política — os VLAs, que traduzem visão e linguagem em ação. O que não acompanhou foi o outro lado da equação. Aprendizado por reforço precisa de duas coisas: uma política que age e um crítico que avalia. Sem crítico escalável, o RL em robótica fica preso a recompensas escritas à mão para cada tarefa ou a anotação humana que não escala.

A proposta do RynnValue é oferecer um crítico de propósito geral: uma interface única de distância temporal que funciona entre corpos diferentes, velocidades de execução diferentes e pontos de vista diferentes. Se essa interface se sustentar fora do laboratório que a criou, o efeito não é melhorar uma política — é destravar o método inteiro para qualquer política. É a diferença entre um resultado e uma ferramenta.

Perguntas Frequentes

O que é um modelo de valor?

É o componente do aprendizado por reforço que estima quão boa é uma situação — quanto de recompensa se espera obter dali em diante. Enquanto a política decide o que fazer, o modelo de valor julga se aquilo foi um bom caminho. Sem essa estimativa, o agente só descobre se acertou quando a tarefa acaba, o que torna o aprendizado lentíssimo.

O que é distância temporal, na prática?

É o número de passos que ainda faltam, a partir da observação atual, para atingir o objetivo descrito em linguagem. Num vídeo de demonstração bem-sucedida, esse número é simplesmente a diferença entre o quadro atual e o quadro final — daí a supervisão sair de graça dos carimbos de tempo.

O que é o τₐ de Kendall e por que usá-lo aqui?

É uma medida de correlação por ordenação: quantifica o quanto duas listas concordam sobre a ordem dos itens, não sobre os valores absolutos. É a métrica certa neste caso porque o que se pede do modelo de valor é ordenar corretamente — reconhecer que um estado está mais próximo do objetivo que outro. Errar a escala e acertar a ordem ainda produz um bom sinal de recompensa.

Qual a diferença entre RL online e offline nos resultados?

No online, o robô coleta dados novos enquanto aprende, agindo no mundo e recebendo retorno imediato. No offline, ele aprende apenas de um conjunto fixo de trajetórias já registradas. O offline parte de uma base melhor (63,8% contra 52,5%) porque usa dados curados; o online tem mais espaço para ganho porque pode explorar. Ambos ganharam cerca de 20 pontos com o RynnValue.

Por que treinar com dados de corpos robóticos tão diferentes?

Porque a distância temporal é uma medida que não depende da forma do robô. Faltar 3 segundos para o objetivo significa a mesma coisa num braço único e numa mão destra, ainda que a ação necessária seja completamente distinta. Essa neutralidade é o que permite unificar dados heterogêneos num único modelo — e é a razão de a generalização entre corpos ser plausível aqui.