N₀-VTLA: o robô que aprende a sentir antes de agir vence todas as 9 tarefas reais

A maior parte dos robôs generalistas de hoje enxerga o mundo, mas não o sente. Modelos de visão-linguagem-ação (VLA) aprendem a mapear uma câmera e um comando em texto para uma sequência de movimentos — e funcionam bem em tarefas onde ver é suficiente: pegar um objeto, empilhar caixas, abrir uma gaveta. Eles tropeçam justamente onde o contato é a informação que importa: encaixar um conector que não cabe visualmente numa tomada, saber quando um aperto está forte demais, equilibrar algo que pode tombar sem aviso visual nenhum.

O N₀-VTLA, publicado pelo NeoTeAI Team em colaboração com o Fudan TEAI (Fudan University), ataca essa lacuna de frente: é o primeiro modelo de visão-tato-linguagem-ação pré-treinado em dados táteis em escala, e não como um módulo adicional treinado à parte.

Como o tato entra na arquitetura

O modelo usa como base o PaliGemma, uma arquitetura de visão-linguagem já estabelecida, sobre a qual foi construído um espaço de ação canônico de 32 dimensões (20 usadas para os dois braços do robô, 12 reservadas) e um horizonte de planejamento de 50 passos por decisão. A parte nova é o caminho tátil: um codificador tátil baseado no DINOv2 (mantido congelado durante o treino) processa os sinais de contato e os converte em tokens — unidades de informação — que o modelo aprende a combinar com o que está vendo e com o comando recebido.

O treino aconteceu em três estágios: pré-treino visuo-tátil conjunto, integração progressiva do caminho tátil no modelo já treinado em visão, e uma etapa final de melhoria de política a partir de dados de implantação armazenados — ou seja, o modelo continua aprendendo com o próprio histórico de execuções depois de já estar em operação.

Onde a vantagem aparece — e onde ela é modesta

Os números não são uniformes, e isso é parte do que torna o resultado crível. Em Socket Plugging, tarefa que depende quase inteiramente de sentir o alinhamento do encaixe, o modelo chega a 85% de sucesso — um salto grande sobre o que modelos apenas visuais conseguem nesse tipo de tarefa. Já em Bottle Standing (equilibrar uma garrafa) e Board Insertion (inserir uma placa), os números caem para 30% e 25% respectivamente — tarefas continuam difíceis mesmo com tato, só que menos difíceis do que eram sem ele.

Essa distância entre 85% numa tarefa e 25% noutra é o tipo de dado que geralmente desaparece em médias de marketing, mas que aqui está publicado explicitamente. É uma indicação de que o tato ajuda mais em tarefas de precisão de encaixe do que em tarefas de equilíbrio dinâmico — uma diferença que faz sentido fisicamente, já que sentir contato ajuda a saber "encostei certo", mas ajuda menos a prever "vai cair daqui a meio segundo".

O que a etapa de aprendizado offline acrescenta

Depois do treino principal, os pesquisadores testaram uma etapa adicional de melhoria de política offline (chamada ALTER no paper) em três tarefas reais adicionais: dobrar uma toalha (95% de sucesso), empacotar uma bolsa (80%) e dobrar uma caixa de papelão (75%). São tarefas de manipulação de objetos deformáveis — tecido e papelão não têm forma fixa, o que historicamente é um dos pontos mais fracos de robôs treinados majoritariamente em objetos rígidos. Os números aqui são os mais altos do paper inteiro, o que sugere que o ganho de aprender com dados de implantação real é particularmente forte quando o objeto manipulado muda de formato durante a tarefa.

O padrão que se repete na robótica de 2026

O N₀-VTLA chega numa temporada em que múltiplos grupos de pesquisa — incluindo o mesmo NeoTeAI, com um modelo irmão chamado N₀-TWAM voltado para manipulação rica em contato — estão convergindo na mesma aposta: visão sozinha tem um teto, e esse teto está perto. A resposta não tem sido "modelo maior", mas "mais um sentido". Primeiro foi combinar visão com linguagem; agora é combinar visão e linguagem com tato. O padrão de manter o encoder tátil congelado, em vez de treiná-lo do zero, também aparece como escolha recorrente — sugere que representações táteis genéricas, aprendidas separadamente, já carregam a maior parte da informação útil, e o trabalho pesado do VLA é aprender a combiná-las com o resto.

Perguntas Frequentes

O que é um modelo de visão-tato-linguagem-ação (VTLA)?

É uma extensão dos modelos VLA (visão-linguagem-ação), que já combinam câmera e comando em texto para gerar movimentos de robô. O VTLA acrescenta um quarto tipo de entrada: sinais de sensores de contato na mão ou nos dedos do robô, permitindo que ele "sinta" a força e a textura do que está tocando, não só veja.

Por que o codificador tátil fica "congelado" durante o treino?

Manter um componente congelado significa que seus parâmetros não são ajustados durante o treino do modelo principal — ele já vem pré-treinado (no caso, com base em DINOv2) e é usado como extrator de características fixo. Isso reduz custo de treino e evita que o modelo "esqueça" representações táteis já aprendidas ao tentar otimizar tudo de uma vez.

π0.5, ACT e InternVLA-A1 são modelos concorrentes?

Sim — são modelos de manipulação robótica publicados anteriormente por outros grupos, usados aqui como linha de base para medir o ganho do tato. O N₀-VTLA superou todos eles nas comparações reportadas, tanto em simulação quanto em execuções reais.

Esses resultados significam que o robô já pode ser usado comercialmente?

Não necessariamente. Taxas de sucesso de 25% a 85%, dependendo da tarefa, ainda estão longe da confiabilidade exigida em ambientes de produção, onde falhas têm custo real. O resultado é significativo como avanço de pesquisa — mostra que tato pré-treinado em escala move a agulha — mas o caminho até um robô confiável em qualquer uma dessas tarefas específicas ainda é de melhoria incremental.