Long-Horizon-Terminal-Bench: Testando os Limites de Agentes em Tarefas de Terminal de Longo Horizonte com Avaliação Baseada em Recompensa Densa

arXiv:2607.08964v1 Tipo de anúncio: novo Resumo: Os agentes de IA se tornaram capazes de concluir de forma autônoma tarefas curtas e bem especificadas. No entanto, os benchmarks de terminal existentes concentram-se em grande parte em problemas simples, que terminam em poucos minutos e são avaliados apenas pelo seu resultado final. Essa configuração ignora o progresso intermediário e as soluções parciais, produzindo sinais de recompensa esparsos e uma imagem incompleta da capacidade do agente. Nós apresentamos o Long-Horizon-Terminal-Bench, um benchmark de terminal com 46 tarefas de longo hor...