OpenAI Blog精选81

为什么我们不再评估 SWE-bench Verified

Name: AI HOT 精选数据集（復刻站）
License: https://aihot.yuenlau.org/llms.txt

Why we no longer evaluate SWE-bench Verified

2026/02/23 19:00· 232天前

精选理由

帮助读者识别SWE-bench失真，转向更可靠评测。

AI 摘要

SWE-bench Verified 正日益受到污染，并且错误衡量了前沿编码进展。我们的分析显示其测试存在缺陷，并且存在训练泄漏。我们推荐 SWE-bench Pro。