A maratona do terminal: um novo teste dá nota parcial aos agentes — e quase todos ficam para trás

Boa parte dos testes de agentes hoje se parece com uma prova de múltipla escolha: o modelo tenta, e no fim há um único carimbo — passou ou não passou. Funciona para tarefas de minutos. Mas é uma medida cega para o tipo de trabalho que de fato interessa: reproduzir um experimento científico, depurar um sistema, rodar uma análise que se estende por horas. Nessas, dizer só "falhou" é jogar fora quase toda a informação. O agente chegou a 90% do objetivo? A 5%? A régua binária não sabe.

O Long-Horizon-Terminal-Bench (arXiv 2607.08964), o paper mais votado do dia no Hugging Face com 43 upvotes, foi construído para enxergar exatamente esse meio-termo. São 46 tarefas de longo horizonte num terminal de computador, e a régua deixa de ser um interruptor para virar um termômetro.

O que é uma tarefa de "longo horizonte"

Os números dão a escala. Uma execução típica no benchmark leva 231 episódios — ciclos de ação e observação — e 85 minutos de relógio. Consome, em média, quase 10 milhões de tokens por tarefa. Não é um quebra-cabeça de uma tacada; é um projeto que exige planejar, manter o contexto ao longo de horas, e depurar em ciclos sucessivos — errar, ler o erro, corrigir, tentar de novo.

As 46 tarefas cobrem nove categorias: reprodução de experimentos, engenharia de software, análise multimodal, jogos interativos, computação científica, entre outras. Cada uma é um ambiente real de linha de comando, não uma simulação simplificada.

Por que dar nota parcial muda o jogo

A inovação central não está nas tarefas, e sim na régua. Em vez de avaliar só o resultado final, o benchmark quebra cada tarefa em subtarefas graduadas e concede crédito parcial. Isso resolve um problema antigo do aprendizado por reforço aplicado a tarefas longas: o da recompensa esparsa.

Quando o único sinal é "conseguiu ao final", um agente que percorre 95% de uma tarefa de duas horas e tropeça no último passo recebe a mesma nota — zero — de outro que não saiu do lugar. Para quem treina esses modelos, é um sinal quase inútil: não diz onde o progresso aconteceu nem onde ele parou. Ao dar nota a cada subtarefa vencida, o benchmark transforma um sinal binário e mudo num mapa detalhado de onde o agente avança e onde ele empaca — o famoso problema de "atribuição de crédito", de dizer qual ação mereceu a recompensa.

O recado nos 15%

O resultado mais eloquente é o placar. Testados 15 modelos de fronteira, o melhor completou 15,2% das tarefas com folga e apenas 10,9% de forma impecável. A média do grupo despencou para 4,3% e 1,7%. Traduzindo: nas tarefas que mais se parecem com trabalho real — as que duram horas e exigem persistência —, os melhores agentes do mundo ainda falham na esmagadora maioria das vezes.

Esse contraste é saudável. A conversa pública sobre agentes vive de demonstrações de minutos, em que o modelo resolve um problema bem-comportado e a plateia aplaude. O Long-Horizon-Terminal-Bench mostra o que acontece quando se estica o relógio: a taxa de acerto desaba. É o antídoto empírico contra a narrativa de que os agentes já "fazem trabalho de verdade" de forma autônoma.

O que um bom benchmark faz

Convém a ressalva: 46 tarefas são uma amostra, e nove categorias não cobrem todo o universo do trabalho digital. Benchmarks envelhecem — os modelos aprendem a otimizar para eles, e o placar sobe sem que a capacidade real acompanhe na mesma proporção. Nenhuma régua isolada é a última palavra.

Mas a contribuição aqui é menos o placar de hoje e mais a forma de medir. Ao substituir o carimbo de aprovado/reprovado por uma medida de progresso, o benchmark torna visível o que estava escondido: a longa e acidentada distância entre começar uma tarefa de horas e terminá-la. É nessa distância, e não nas demonstrações de minutos, que se decide se os agentes são ferramentas ou promessas.

Perguntas Frequentes

O que significa "longo horizonte"?

São tarefas que exigem muitos passos ao longo de bastante tempo — aqui, em média 231 ciclos de ação e observação e 85 minutos por execução. O oposto de um problema resolvido numa única tentativa; requer planejamento, memória de contexto e depuração iterativa.

Por que dar crédito parcial em vez de aprovar ou reprovar?

Porque a nota binária desperdiça informação: um agente que chega a 95% e outro que não sai do lugar recebem zero igualmente. Quebrar a tarefa em subtarefas graduadas mede o progresso real e ajuda a treinar os modelos, aliviando o problema da recompensa esparsa em tarefas longas.

Os agentes atuais se saem bem?

Não. Entre 15 modelos de fronteira, o melhor completou 15,2% das tarefas e a média ficou em 4,3%. Nas tarefas que mais se parecem com trabalho real, os melhores agentes ainda falham na grande maioria das vezes.