Building to the Test: Coding Agents Deliver What You Check, Not What You Requested
Large Language Models fail to validate their outputs when evaluated through benchmarks, revealing a gap between task completion scores and actual implementation quality.
Hugging Face · Daily Papers
·Yanuo Ma, Ben Kereopa-Yorke
·
·▲ 5 upvotes
Este artigo está em destaque na seleção diária de papers do Hugging Face, curada pela comunidade de pesquisa em IA.
Autores: Yanuo Ma, Ben Kereopa-Yorke, Ben Schultz
- 5 upvotes da comunidade
- Temas: Large Language Models, benchmarks, task completion, validation self-awareness, code-as-spec, Copilot CLI agents
Resumo
Resumo original (em inglês), extraído do paper:
Large Language Models fail to validate their outputs when evaluated through benchmarks, revealing a gap between task completion scores and actual implementation quality.Onde ler
// relacionados
Leia também
Blog
O complicado problema do Claude Code com a China envolve proibições dos dois lados do Pacífico
Blog
AI Security Institute do Reino Unido descobre que benchmarks padrão subestimam sistematicamente o que agentes de IA realmente conseguem fazer
Dataset
ByteDance-Seed/EdgeBench
Blog