PACE: A Proxy for Agentic Capability Evaluation
PACE is a framework that predicts expensive agentic LLM benchmark performance using a small subset of atomic evaluation instances, achieving high accuracy at a fraction of the cost…
Hugging Face · Daily Papers
·Yueqi Song, Lintang Sutawika
·
·▲ 9 upvotes
Este artigo está em destaque na seleção diária de papers do Hugging Face, curada pela comunidade de pesquisa em IA.
Autores: Yueqi Song, Lintang Sutawika, Jiarui Liu, Lindia Tjuatja, Jiayi Geng, Yunze Xiao
- 9 upvotes da comunidade
- Temas: LLM agents, SWE-Bench, GAIA, agentic benchmarks, non-agentic benchmarks, proxy benchmarks
Resumo
Resumo original (em inglês), extraído do paper:
PACE is a framework that predicts expensive agentic LLM benchmark performance using a small subset of atomic evaluation instances, achieving high accuracy at a fraction of the cost.Onde ler
// relacionados
Leia também
Blog
Orquestração agêntica: as organizações de IA corporativa têm um problema de implantação, não um problema de plataforma — e a maioria está chamando chatbots de agentes
Blog
Soofi Consortium lança o Soofi S 30B-A3B: um modelo de fundação MoE híbrido Mamba-Transformer aberto para alemão e inglês
Modelo
thinkingmachines/Inkling
Blog