Building to the Test: Coding Agents Deliver What You Check, Not What You Requested
Large Language Models fail to validate their outputs when evaluated through benchmarks, revealing a gap between task completion scores and actual implementation quality.
Hugging Face · Daily Papers
·Yanuo Ma, Ben Kereopa-Yorke
·
·▲ 7 upvotes
Este artigo está em destaque na seleção diária de papers do Hugging Face, curada pela comunidade de pesquisa em IA.
Autores: Yanuo Ma, Ben Kereopa-Yorke, Ben Schultz
- 7 upvotes da comunidade
- Temas: Large Language Models, benchmarks, task completion, validation self-awareness, code-as-spec, Copilot CLI agents
Resumo
Resumo original (em inglês), extraído do paper:
Large Language Models fail to validate their outputs when evaluated through benchmarks, revealing a gap between task completion scores and actual implementation quality.Onde ler
// relacionados
Leia também
Editorial
O modelo que continua aprendendo depois de entregue: dentro do Macaron-V1
Blog
Novo Nordisk e AWS levam IA agêntica à descoberta de medicamentos
Blog
Nvidia garante o valor de seus próprios chips para destravar US$ 500 bilhões em financiamento de infraestrutura de IA
Modelo