UniClawBench: no mundo real, nenhum agente de IA passa da metade das tarefas

Há uma distância conhecida entre o agente de IA das demos e o das segundas-feiras. Nas demos, ele reserva o voo, organiza a planilha e responde os e-mails; na vida real, trava na segunda aba do navegador. O UniClawBench, novo benchmark do MMLab da Universidade de Hong Kong com a Meituan, foi construído para medir exatamente essa distância — e ela é grande: nenhum dos dez modelos de ponta avaliados passa de 50% de conclusão.

O alvo são os agentes proativos — assistentes pessoais como OpenClaw e Nanobot que rodam continuamente, mantêm memória persistente e iniciam ações por conta própria, em vez de apenas responder a comandos. É a categoria de produto mais promissora (e mais prometida) do momento, e também a menos medida com rigor.

O que o benchmark faz de diferente?

Três coisas. Primeiro, o ambiente: containers Docker vivos, com software real, navegadores reais e sistema de arquivos local — não simulações estáticas onde toda ação tem resultado previsível. Segundo, a avaliação em três papéis: o agente testado recebe apenas a instrução pública da tarefa; um supervisor oculto aplica rubricas secretas de correção; e um simulador de usuário gera feedback natural conforme o progresso visível — impedindo que o agente descubra e otimize contra os critérios de nota, o vazamento que contamina benchmarks agentivos.

Terceiro, a interação é multi-turno: cada tarefa admite até dois ciclos de feedback, com limite de 30 minutos (45 para tarefas de contexto longo) — o formato de uma colaboração real entre humano e agente, não de uma prova de múltipla escolha.

Onde os agentes quebram

O padrão de falha mais revelador é o que os autores chamam de fracasso no meio do caminho: modelos acumulam pontuações altas nos checkpoints intermediários e ainda assim não entregam a tarefa completa. O agente encontra o arquivo, abre a ferramenta certa, avança 80% — e naufraga na consolidação final. Para o usuário, 80% de uma tarefa concluída vale zero.

As capacidades também se distribuem de forma desigual. Selecionar e operar ferramentas já funciona bem (75%+ de aprovação); investigar problemas abertos com informação incompleta, idem. Mas sintetizar evidências espalhadas em várias fontes derruba os modelos para a faixa de 22–44%, e tarefas multimodais — interpretar imagem, áudio e vídeo dentro de um fluxo de trabalho — afundam para 7–21%. O agente que lê seus PDFs ainda não é o que assiste seus vídeos.

O framework importa mais que o modelo

O achado mais incômodo para o discurso da indústria: trocar o arcabouço de orquestração — memória, planejamento, recuperação de erros — mexeu mais nos resultados do que trocar o modelo dentro dele. O OpenClaw obteve as maiores taxas de conclusão; o EDICT pontuava alto nos passos intermediários mas concluía menos; o Nanobot, leve, economizava tokens ao custo de minúcia.

Isso inverte a hierarquia habitual do marketing, que vende o modelo como a estrela e o software ao redor como detalhe. Nos agentes, o "detalhe" é onde mora a confiabilidade — e sugere que os próximos ganhos virão tanto de engenharia de sistema quanto de escala de treino.

Como ler esses 47,5%

Com as duas mãos. De um lado, o número confirma o que usuários de agentes já intuíam: a autonomia confiável para tarefas longas e heterogêneas não chegou, por mais que os anúncios digam o contrário. De outro, o desempenho melhorou consistentemente entre os ciclos de feedback — os agentes se recuperam bem quando corrigidos —, o que aponta para um presente realista: não o funcionário digital autônomo, mas o estagiário competente que precisa de supervisão em dois momentos-chave. Medido honestamente, é isso que meio caminho parece.

Perguntas Frequentes

O que é um agente proativo?

Um assistente de IA que opera de forma contínua, mantém memória persistente entre sessões, acumula habilidades reutilizáveis e inicia ações por conta própria para perseguir objetivos — em contraste com sistemas reativos, que apenas respondem a cada comando isolado.

Por que usar um "supervisor oculto" e um usuário simulado?

Para evitar contaminação: se o agente tem acesso aos critérios de avaliação, ele otimiza contra a rubrica em vez de resolver a tarefa. No UniClawBench, o agente vê apenas a instrução pública; a correção usa rubricas secretas e o feedback vem de um simulador que reage só ao progresso visível.

Quais modelos foram avaliados e quem liderou?

Dez modelos de ponta, executados via frameworks de agente. O Claude Opus 4.8 liderou em taxa de conclusão (47,5%), seguido de Claude Sonnet 4.6 (45,5%) e GPT-5.4 (40,7%, mas com a maior pontuação média intermediária, 0,774). Nenhum passou de 50%.

O benchmark está disponível?

Sim. As 400 tarefas, o código e a infraestrutura de containers estão públicos no GitHub (HKU-MMLab/UniClawBench), com o paper no arXiv (2607.08768).