HiFi-UMI: dados coletados sem robô nenhum — e o robô aprende assim mesmo

O gargalo da robótica moderna não é o algoritmo — é a hora de robô. Para ensinar um braço mecânico a abrir uma gaveta ou encaixar um conector, alguém precisa operar o robô por teleoperação, tarefa por tarefa, cena por cena, num laboratório caro que só existe em algumas dezenas de lugares no mundo. Cada hora de dado custa uma hora de hardware ocupado.

A alternativa óbvia é registrar humanos fazendo a tarefa com as próprias mãos, usando um dispositivo portátil de captura — a família de sistemas conhecida como UMI (Universal Manipulation Interface, interface universal de manipulação). O problema é que, até agora, esse dado sozinho nunca bastou: todo trabalho sério precisava de uma dose final de dados coletados no robô de verdade, o que a literatura chama de "âncora de robô real". O HiFi-UMI, publicado nesta quarta pelo Simple World Lab, é a primeira demonstração convincente de que essa âncora pode ser dispensada.

Por que o dado sem robô falhava antes

A razão é menos filosófica do que parece: era um problema de metrologia. Uma política de manipulação aprende a mapear o que a câmera vê para onde a mão deve ir. Se a trajetória registrada pelo dispositivo portátil erra a posição da mão em um ou dois centímetros, o modelo aprende um mapa levemente torto — e um mapa torto não sobrevive ao encaixe de um conector.

Some-se a isso a dessincronização: se as câmeras e os sensores de movimento registram o mesmo instante com dezenas de milissegundos de diferença, a política aprende a associar uma imagem a uma ação que, na verdade, aconteceu depois. A "âncora de robô real" existia para corrigir essas duas distorções na marra, com dados limpos vindos do próprio hardware de destino.

O que o HiFi-UMI mudou no hardware

O sistema ataca as duas fontes de erro diretamente. A localização da mão vem de um SLAM estéreo-inercial montado na cabeça, processado offline — ou seja, sem a pressa do tempo real, o que permite otimizar a trajetória inteira de uma vez e chegar a 3 mm de precisão na ponta do efetuador. A sincronização entre as seis câmeras é feita por GPIO em hardware, com resolução de microssegundos, não por relógio de software.

A cobertura visual também mudou: duas câmeras olho-de-peixe não paralelas por mão dão cerca de 200° de campo, o que reduz o número de momentos em que a mão sai de quadro no meio de um movimento. E a garra é uma luva de palma inteira, preservando a forma natural com que a pessoa segura o objeto em vez de forçar a mão a imitar uma pinça de dois dedos.

Os números que sustentam a afirmação

A tese central — dado sem robô basta — foi testada da forma que interessa: treinando três arquiteturas de política diferentes só com dados HiFi-UMI e comparando com as mesmas arquiteturas treinadas com teleoperação no domínio. O resultado é empate técnico. A StarVLA-QwenPI ficou 2,5 pontos percentuais abaixo; a OpenPI-π₀.₅ ficou 3,1 pontos acima; a LingBot-VA, 0,6 ponto abaixo.

Note o que essa dispersão significa: as diferenças estão nos dois sentidos e dentro da margem de ruído experimental. Não é um dado "quase tão bom quanto" — é indistinguível, ao menos nessas três arquiteturas e nesse conjunto de tarefas.

O segundo resultado é o que justifica coletar 2.000 horas em vez de 20. Um pré-treino em 4.000 horas de dados reduziu o erro de ação offline em 41% em tarefas nunca vistas e elevou o sucesso após ajuste fino em 18,1 pontos percentuais. Numa tarefa de inserção de precisão com mudança de distribuição na cena de avaliação — o cenário em que políticas costumam desmoronar —, o sistema entregou 85% de sucesso.

O pipeline é metade da história

Um detalhe fácil de ignorar: seis estágios automáticos de processamento entregam 96% de dado aproveitável. Quem já lidou com captura de movimento em ambiente não controlado sabe que esse número normalmente fica bem mais baixo, e que o resto vai para triagem manual. Parte da limpeza vem de uma etapa esperta — cada trajetória reconstruída é reexecutada em simulação para verificar se ela é fisicamente coerente; a que não passa é descartada antes de contaminar o treino.

Isso importa porque muda a economia da coleta. Se 96% do que se grava vira dado utilizável sem revisão humana, escalar deixa de ser um problema de mão de obra e vira um problema de logística — quantas pessoas, quantos cenários, quantas horas.

O que ainda não está resolvido

Vale calibrar o entusiasmo. "Paridade com teleoperação no domínio" é uma afirmação sobre um conjunto específico de tarefas de manipulação bimanual, avaliadas por esse laboratório. Nada disso diz que a política resultante generaliza para um robô com cinemática muito diferente do usado no experimento, nem que tarefas de contato rico e força controlada — apertar um parafuso, manipular tecido — seguem a mesma curva.

Há também a questão da morfologia: a luva de palma inteira preserva a naturalidade da mão humana, mas a maioria dos robôs comerciais ainda opera com pinças de dois dedos. Quanto mais rica a mão que gerou o dado, maior a distância até o efetuador que vai executá-lo — um embodiment gap que o próprio realismo da captura pode agravar.

O que fica

Se o resultado se sustentar fora do laboratório de origem, a consequência prática é grande: coletar dados de manipulação deixa de exigir robôs. Uma pessoa com um equipamento de cabeça e um par de luvas passa a ser uma fonte válida de dado de treino — e o gargalo migra do hardware caro para a diversidade de cenas e de mãos que se consegue registrar. Os 2.000 horas liberados sob CC BY 4.0 são, nesse sentido, a parte mais concreta do anúncio: a aposta não está na política treinada, está no dado que qualquer um pode baixar e usar.

Perguntas Frequentes

O que é UMI em robótica?

UMI (Universal Manipulation Interface) é uma família de sistemas portáteis que permite a um humano registrar demonstrações de manipulação com as próprias mãos, usando câmeras e sensores acoplados a uma garra manual, sem precisar operar um robô. A promessa é coletar dados de treino a uma fração do custo da teleoperação.

O que é o "âncora de robô real" que o HiFi-UMI dispensa?

É a prática de complementar dados coletados por humanos com uma parcela de dados obtidos diretamente no robô de destino, para corrigir imprecisões de posição e sincronização da captura portátil. O HiFi-UMI afirma que, com precisão de 3 mm e sincronização em microssegundos, essa etapa se torna desnecessária.

Os dados estão realmente abertos?

Sim. O dataset HiFi-UMI-2K — 2.000 horas e mais de 482 mil episódios com seis vistas sincronizadas, trajetórias bimanuais calibradas e anotações em linguagem natural — foi publicado no Hugging Face sob licença CC BY 4.0, com mascaramento de rostos aplicado.