SWE-Together: Evaluating Coding Agents in Interactive User Sessions
SWE-Together is a multi-turn coding benchmark created from real user-agent interactions, featuring a reactive LLM simulator to evaluate agents based on both final correctness and i…
Hugging Face · Daily Papers
·Yifan Wu, Zhuokai Zhao
·
·▲ 11 upvotes
Este artigo está em destaque na seleção diária de papers do Hugging Face, curada pela comunidade de pesquisa em IA.
Autores: Yifan Wu, Zhuokai Zhao, Songlin Li, Ho Hin Lee, Jiacheng Zhu, Shirley Wu
- 11 upvotes da comunidade
- Temas: coding-agent benchmarks, multi-turn benchmark, user-agent coding sessions, repository-level tasks, user simulator, corrective feedback turns
Resumo
Resumo original (em inglês), extraído do paper:
SWE-Together is a multi-turn coding benchmark created from real user-agent interactions, featuring a reactive LLM simulator to evaluate agents based on both final correctness and interaction efficiency.Onde ler
// relacionados
Leia também
Editorial
O modelo que continua aprendendo depois de entregue: dentro do Macaron-V1
Blog
Novo Nordisk e AWS levam IA agêntica à descoberta de medicamentos
Blog
Nvidia garante o valor de seus próprios chips para destravar US$ 500 bilhões em financiamento de infraestrutura de IA
Modelo