EdgeBench: 38 mil horas de agentes trabalhando revelam uma lei de escala inesperada
A ByteDance Seed mediu o que acontece quando agentes de IA passam 12 horas ou mais no mesmo problema — e descobriu que o desempenho segue uma curva log-sigmoide com ajuste de R² = 0,998. Tempo de interação virou eixo de escala.
Quase todos os benchmarks de IA medem a mesma coisa: o que um modelo acerta de primeira. Pergunta, resposta, nota. Mas os agentes que importam no mundo real — os que depuram um sistema, otimizam uma rota logística, atacam uma conjectura matemática — não trabalham assim. Eles tentam, erram, medem, ajustam e tentam de novo, por horas. Ninguém havia medido sistematicamente o que acontece nessas horas. A ByteDance Seed acaba de medir.
O EdgeBench, publicado esta semana com relatório técnico e dados abertos, avaliou agentes de fronteira em 134 tarefas de ambientes executáveis reais, dando a cada agente 12 horas ou mais por tarefa. Somadas, foram cerca de 38 mil horas de interação registradas — e delas emergiu o achado central do trabalho: o desempenho em função do tempo de interação segue uma lei log-sigmoide com qualidade de ajuste de R² = 0,998. Uma regularidade quase física num terreno que parecia idiossincrático.
O que exatamente foi medido
As 134 tarefas (51 delas já públicas, sob CC BY 4.0) cobrem seis domínios: problemas científicos e aprendizado de máquina, engenharia de sistemas e software, otimização combinatória, trabalho profissional de conhecimento, matemática formal com prova de teoremas, e jogos e simuladores interativos. Em comum, todas são ambientes executáveis — o agente age, o ambiente responde com um sinal mensurável, e o placar evolui ao longo da sessão.
É uma escolha de desenho deliberada. Em vez de perguntar "o modelo sabe?", o EdgeBench pergunta "o modelo aprende enquanto trabalha?" — usando feedback do ambiente, sem retreinamento, apenas com o acúmulo de contexto e estratégia dentro da própria sessão.
- Escopo: 134 tarefas em 6 domínios (51 públicas), harness de avaliação SForge em código aberto
- Escala: ~38.000 horas de interação de agentes registradas, 12+ horas por agente por tarefa
- Achado central: desempenho segue lei log-sigmoide no tempo de interação, com R² = 0,998
- Placar em 12 horas: Claude Opus 4.8 51,3%, GPT-5.5 48,4%, GPT-5.4 39,3%, GLM-5.1 37,4%, DeepSeek-V4-Pro 31,0%
- Licença: CC BY 4.0; relatório técnico no arXiv (2607.05155)
A lei de escala do tempo
Leis de escala moldaram a última década da IA: mais dados e mais parâmetros produzem ganhos previsíveis, seguindo curvas suaves. O EdgeBench sugere um terceiro eixo — o tempo de interação com o ambiente. A curva log-sigmoide encontrada tem uma leitura intuitiva: o agente melhora devagar no início (explorando o problema), acelera no meio (quando as estratégias engatam) e satura no fim (quando esgota o que consegue extrair do ambiente).
O R² de 0,998 — um ajuste quase perfeito — é o tipo de número que pede ceticismo e atenção na mesma dose. Ceticismo porque curvas sigmoides são flexíveis o bastante para acomodar muitos dados. Atenção porque, se a regularidade se confirmar fora das 134 tarefas, ela permite algo valioso: prever quanto desempenho se compra com mais horas de agente, do mesmo modo que hoje se prevê quanto se compra com mais GPUs de treino.
O placar — e o que ele diz da fronteira
No corte de 12 horas, o Claude Opus 4.8 lidera com 51,3%, seguido do GPT-5.5 com 48,4%. O degrau seguinte é revelador: GPT-5.4 fica em 39,3%, GLM-5.1 em 37,4% e DeepSeek-V4-Pro em 31,0%. A distância entre gerações consecutivas do mesmo laboratório (9 pontos entre GPT-5.5 e 5.4) é maior que a distância entre laboratórios rivais — sinal de que a capacidade de sustentar trabalho longo está melhorando rápido, e de que os modelos abertos ainda pagam pedágio nesse regime.
Note também o que o placar diz do próprio benchmark: nem o líder passa de 52%. Há espaço de sobra no topo — a característica que separa um benchmark útil de um benchmark saturado no lançamento.
Por que isso importa (e onde mora o risco)
Se agentes vão trabalhar por horas em problemas reais, alguém precisa saber medir esse trabalho — e o custo de avaliar honestamente é brutal: 38 mil horas de interação não cabem no orçamento de um laboratório acadêmico. Ao abrir as tarefas, o harness SForge e os dados, a ByteDance transfere parte dessa infraestrutura para a comunidade. É o mesmo movimento que o ImageNet fez pela visão computacional: transformar uma capacidade difusa em algo mensurável e comparável.
O risco é o de sempre: benchmarks que importam viram alvo. Tarefas de ambiente executável são mais difíceis de decorar que perguntas de múltipla escolha, mas não imunes — e 83 das 134 tarefas permanecem privadas justamente por isso. Resta ver se a lei log-sigmoide sobrevive ao contato com agentes treinados para vencê-la.
Por ora, fica o resultado mais interessante da semana em avaliação de IA: o tempo — não só o tamanho — virou dimensão de escala. E, pela primeira vez, há uma curva para ele.
Perguntas Frequentes
O que é o EdgeBench?
É um benchmark da ByteDance Seed com 134 tarefas em ambientes executáveis reais — de engenharia de software a prova de teoremas — em que agentes de IA trabalham por 12 horas ou mais por tarefa, aprendendo com o feedback do ambiente. 51 tarefas e o harness de avaliação SForge estão públicos sob CC BY 4.0.
O que é a lei de escala log-sigmoide encontrada?
Analisando ~38 mil horas de interação, os autores observaram que o desempenho dos agentes em função do tempo segue uma curva log-sigmoide (lenta no início, acelerada no meio, saturando no fim) com ajuste de R² = 0,998 — o que sugere que os ganhos por hora adicional de trabalho de agente são estatisticamente previsíveis.
Qual modelo lidera o EdgeBench?
No corte de 12 horas por tarefa, o Claude Opus 4.8 lidera com 51,3%, seguido do GPT-5.5 (48,4%), GPT-5.4 (39,3%), GLM-5.1 (37,4%) e DeepSeek-V4-Pro (31,0%). Nenhum modelo passa da metade do benchmark — há bastante espaço no topo.