Running the Gauntlet: Re-evaluating the Capabilities of Agents Beyond Familiar Environments
A web-based benchmark evaluates agent generalization across challenging scenarios, revealing significant gaps between current agentic systems and human performance in temporal perc…
Hugging Face · Daily Papers
·Mykola Vysotskyi, Runqi Lin
·
·▲ 18 upvotes
Este artigo está em destaque na seleção diária de papers do Hugging Face, curada pela comunidade de pesquisa em IA.
Autores: Mykola Vysotskyi, Runqi Lin, Grzegorz Biziel, Michal Zakrzewski, Sebastian Montagna, Damian Rynczak
- 18 upvotes da comunidade
- Temas: agentic systems, benchmark, agent generalization, temporal perception, graphical understanding, 3D reasoning
Resumo
Resumo original (em inglês), extraído do paper:
A web-based benchmark evaluates agent generalization across challenging scenarios, revealing significant gaps between current agentic systems and human performance in temporal perception, graphical understanding, and 3D reasoning.Onde ler
// relacionados
Leia também
Editorial
O modelo que continua aprendendo depois de entregue: dentro do Macaron-V1
Blog
Novo Nordisk e AWS levam IA agêntica à descoberta de medicamentos
Blog
Nvidia garante o valor de seus próprios chips para destravar US$ 500 bilhões em financiamento de infraestrutura de IA
Modelo