OpenAI finds roughly 30 percent of popular AI coding test is broken
OpenAI reviewed SWE-Bench Pro, a widely used test for measuring AI models' programming skills, and found roughly 30 percent of its tasks are broken. The company is pulling its earlier endorsement of the benchmark. The article OpenAI finds roughly 30 percent of popular AI coding test is broken appeared first on The Decoder .
The Decoder
·Maximilian Schreiner
·
// relacionados
Leia também
Blog
Como reduzir o orçamento de tokens sem reduzir a equipe
Blog
Google Research apresenta o SensorFM: um modelo de fundação para saúde vestível pré-treinado com um trilhão de minutos de dados de sensores
Blog
TypeProbe: Recuperando representações de tipos a partir dos estados ocultos de modelos de código pré-treinados
Blog