A maratona do terminal: um novo teste dá nota parcial aos agentes — e quase todos ficam para trás
Tarefas que levam horas e centenas de tentativas, não minutos. Em vez de aprovar ou reprovar, o Long-Horizon-Terminal-Bench mede o quanto do caminho o agente percorreu. O melhor modelo de fronteira resolve 15% delas por completo.
Boa parte dos testes de agentes hoje se parece com uma prova de múltipla escolha: o modelo tenta, e no fim há um único carimbo — passou ou não passou. Funciona para tarefas de minutos. Mas é uma medida cega para o tipo de trabalho que de fato interessa: reproduzir um experimento científico, depurar um sistema, rodar uma análise que se estende por horas. Nessas, dizer só "falhou" é jogar fora quase toda a informação. O agente chegou a 90% do objetivo? A 5%? A régua binária não sabe.
O Long-Horizon-Terminal-Bench (arXiv 2607.08964), o paper mais votado do dia no Hugging Face com 43 upvotes, foi construído para enxergar exatamente esse meio-termo. São 46 tarefas de longo horizonte num terminal de computador, e a régua deixa de ser um interruptor para virar um termômetro.
O que é uma tarefa de "longo horizonte"
Os números dão a escala. Uma execução típica no benchmark leva 231 episódios — ciclos de ação e observação — e 85 minutos de relógio. Consome, em média, quase 10 milhões de tokens por tarefa. Não é um quebra-cabeça de uma tacada; é um projeto que exige planejar, manter o contexto ao longo de horas, e depurar em ciclos sucessivos — errar, ler o erro, corrigir, tentar de novo.
As 46 tarefas cobrem nove categorias: reprodução de experimentos, engenharia de software, análise multimodal, jogos interativos, computação científica, entre outras. Cada uma é um ambiente real de linha de comando, não uma simulação simplificada.
- Nota parcial, não binária: cada tarefa é decomposta em subtarefas graduadas, permitindo medir progresso em soluções incompletas — não só o sucesso final.
- Escala real: em média 231 episódios, 85,3 minutos e 9,9 milhões de tokens por tarefa.
- O teto é baixo: o melhor de 15 modelos de fronteira resolve 15,2% das tarefas (limiar 0,95) e só 10,9% na perfeição. A média do grupo: 4,3% e 1,7%.
Por que dar nota parcial muda o jogo
A inovação central não está nas tarefas, e sim na régua. Em vez de avaliar só o resultado final, o benchmark quebra cada tarefa em subtarefas graduadas e concede crédito parcial. Isso resolve um problema antigo do aprendizado por reforço aplicado a tarefas longas: o da recompensa esparsa.
Quando o único sinal é "conseguiu ao final", um agente que percorre 95% de uma tarefa de duas horas e tropeça no último passo recebe a mesma nota — zero — de outro que não saiu do lugar. Para quem treina esses modelos, é um sinal quase inútil: não diz onde o progresso aconteceu nem onde ele parou. Ao dar nota a cada subtarefa vencida, o benchmark transforma um sinal binário e mudo num mapa detalhado de onde o agente avança e onde ele empaca — o famoso problema de "atribuição de crédito", de dizer qual ação mereceu a recompensa.
O recado nos 15%
O resultado mais eloquente é o placar. Testados 15 modelos de fronteira, o melhor completou 15,2% das tarefas com folga e apenas 10,9% de forma impecável. A média do grupo despencou para 4,3% e 1,7%. Traduzindo: nas tarefas que mais se parecem com trabalho real — as que duram horas e exigem persistência —, os melhores agentes do mundo ainda falham na esmagadora maioria das vezes.
Esse contraste é saudável. A conversa pública sobre agentes vive de demonstrações de minutos, em que o modelo resolve um problema bem-comportado e a plateia aplaude. O Long-Horizon-Terminal-Bench mostra o que acontece quando se estica o relógio: a taxa de acerto desaba. É o antídoto empírico contra a narrativa de que os agentes já "fazem trabalho de verdade" de forma autônoma.
O que um bom benchmark faz
Convém a ressalva: 46 tarefas são uma amostra, e nove categorias não cobrem todo o universo do trabalho digital. Benchmarks envelhecem — os modelos aprendem a otimizar para eles, e o placar sobe sem que a capacidade real acompanhe na mesma proporção. Nenhuma régua isolada é a última palavra.
Mas a contribuição aqui é menos o placar de hoje e mais a forma de medir. Ao substituir o carimbo de aprovado/reprovado por uma medida de progresso, o benchmark torna visível o que estava escondido: a longa e acidentada distância entre começar uma tarefa de horas e terminá-la. É nessa distância, e não nas demonstrações de minutos, que se decide se os agentes são ferramentas ou promessas.
Perguntas Frequentes
O que significa "longo horizonte"?
São tarefas que exigem muitos passos ao longo de bastante tempo — aqui, em média 231 ciclos de ação e observação e 85 minutos por execução. O oposto de um problema resolvido numa única tentativa; requer planejamento, memória de contexto e depuração iterativa.
Por que dar crédito parcial em vez de aprovar ou reprovar?
Porque a nota binária desperdiça informação: um agente que chega a 95% e outro que não sai do lugar recebem zero igualmente. Quebrar a tarefa em subtarefas graduadas mede o progresso real e ajuda a treinar os modelos, aliviando o problema da recompensa esparsa em tarefas longas.
Os agentes atuais se saem bem?
Não. Entre 15 modelos de fronteira, o melhor completou 15,2% das tarefas e a média ficou em 4,3%. Nas tarefas que mais se parecem com trabalho real, os melhores agentes ainda falham na grande maioria das vezes.
