Xiaomi-Robotics-1: 100 mil horas de robô de verdade para ensinar robôs a generalizar

A maior parte do progresso recente em robôs generalistas veio de simulação: treinar em mundos virtuais, onde gerar dado é barato, e depois transferir o que foi aprendido para o robô físico — o chamado sim-to-real. Funciona, mas carrega um problema conhecido: o mundo simulado nunca captura toda a bagunça do mundo real, e o que o robô aprendeu na simulação frequentemente não sobrevive ao contato com uma cozinha, um depósito ou uma mesa desarrumada de verdade.

O Xiaomi-Robotics-1, publicado esta semana pela divisão de robótica da Xiaomi, aposta na direção oposta: em vez de mais simulação, mais dado real. O modelo é treinado sobre mais de 100 mil horas de trajetórias de manipulação coletadas em ambientes físicos de verdade — uma escala que, até recentemente, só simulação conseguia atingir a esse custo.

O que é um modelo Vision-Language-Action

VLA (Vision-Language-Action) é a classe de modelo que une três capacidades num só sistema: ver o ambiente pela câmera, entender uma instrução em linguagem natural ("pegue a xícara azul e coloque na pia") e gerar a sequência de comandos motores para executar essa instrução. É a arquitetura por trás da onda atual de robôs que prometem seguir comandos abertos, em vez de repetir uma rotina pré-programada.

O gargalo histórico desses modelos nunca foi entender a instrução — LLMs já fazem isso bem. É a etapa de ação: generalizar o comando para uma cena nunca vista, com objetos, iluminação e disposição diferentes de qualquer coisa no treino. É exatamente aqui que mais dado real, em vez de mais simulação, tende a ajudar mais.

Como o dado foi coletado e rotulado

Coletar 100 mil horas de manipulação real seria inviável para rotular manualmente. A solução da Xiaomi foi um pipeline de auto-rotulagem: um sistema anota automaticamente as transições de estado da cena — o que mudou entre um quadro e outro — como descrições em linguagem natural, transformando vídeo bruto de manipulação em pares de instrução-ação sem trabalho humano proporcional ao volume de dado.

O treino segue em duas fases. No pré-treino, o modelo aprende capacidades amplas e generalizáveis de manipulação a partir desse volume massivo de trajetórias. No pós-treino, essas capacidades são alinhadas a corpos de robô específicos e a instruções imperativas diretas, usando um conjunto de dados que cruza diferentes tipos de robô — o que ajuda o modelo a não ficar preso à geometria de um único braço ou plataforma.

Não é a primeira aposta da Xiaomi em robótica

A Xiaomi já havia publicado o Xiaomi-Robotics-0, um VLA voltado a execução em tempo real, e mais recentemente o Xiaomi-Robotics-U0, que inverteu a lógica usual ao reaproveitar um modelo de geração de imagem e vídeo para fabricar cenas de treino sintéticas — gerando o mundo em vez de simulá-lo fisicamente — e elevou a taxa de sucesso de manipulação real de 36,9% para 63,2% nos testes internos da empresa.

O Xiaomi-Robotics-1 caminha na direção inversa e complementar: em vez de gerar mais dado sintético, absorve mais dado real coletado em escala. São duas apostas diferentes sobre a mesma pergunta — de onde vem o dado que falta para robôs generalizarem — e o fato de a mesma empresa estar testando as duas ao mesmo tempo sugere que ninguém, nem os próprios laboratórios, tem certeza de qual caminho vence primeiro.

O que ainda não está provado

Modelos fundacionais de robótica compartilham um problema de avaliação que LLMs de texto não têm: não existe um benchmark público, padronizado e amplamente aceito para "manipulação generalista em ambiente aberto" da mesma forma que existe para raciocínio de texto. Os números de sucesso divulgados pela Xiaomi são, até prova em contrário, medidos nos próprios ambientes de teste da empresa — o que não invalida o resultado, mas pede cautela antes de tratá-lo como comparável a outros VLAs publicados por outros laboratórios com metodologias próprias.

O que fica

Robótica generalista não trava mais, majoritariamente, na parte de linguagem — trava em transferir uma instrução entendida para uma ação executada de forma confiável fora do que o robô já viu. O Xiaomi-Robotics-1 é um voto de confiança de que a resposta para isso é escala de dado do mundo real, coletado e rotulado de forma automatizada, mais do que qualquer truque isolado de arquitetura. Se o voto está certo, será visível não em benchmark, mas em quantas tarefas novas um robô consegue tentar sem ser reprogramado.

Perguntas Frequentes

O que significa VLA (Vision-Language-Action)?

É uma classe de modelo de IA para robôs que combina três capacidades: percepção visual do ambiente, compreensão de instruções em linguagem natural e geração da sequência de comandos motores para executá-las. É a arquitetura que permite a um robô seguir comandos abertos em vez de rotinas fixas.

Por que treinar com dado real em vez de simulação?

Porque a simulação nunca reproduz toda a variedade e imprevisibilidade do mundo físico, e capacidades aprendidas apenas em ambiente simulado frequentemente falham ao serem transferidas para um robô real — o problema conhecido como gap de sim-to-real. Dado real, coletado em escala suficiente, evita essa lacuna, ao custo de ser mais caro de obter.

Como a Xiaomi conseguiu rotular 100 mil horas de vídeo?

Com um pipeline automático que anota as transições de estado da cena — o que muda entre um quadro e outro do vídeo de manipulação — como descrições em linguagem natural, eliminando a necessidade de rotulagem manual proporcional ao volume total de dado coletado.