OpenAI 审计 SWE-Bench Pro：发现三成任务异常

OpenAI 在其官方 X 账号上发布消息，称已完成对 SWE-Bench Pro 的全面审计。审计结果显示，这一被广泛使用的 AI 编程能力评测基准已无法可靠地衡量前沿模型的编码水平。OpenAI 明确表示，将撤回此前向研究社区推荐该基准的表态，并公布相关审计报告以供社区参考。

审计发现的关键问题

据 OpenAI 披露，其审计团队在逐项审查 SWE-Bench Pro 的任务集后发现：

• 约 30% 的任务存在缺陷，已不再适合作为编码能力评测的可靠样本；
• 这些「破损」任务可能因题目描述模糊、参考答案错误或测试用例不充分等原因，导致模型得分失真；
• 整体而言，基准的区分度与有效性均出现明显下降。

OpenAI 表示，对 SWE-Bench Pro 此前所积累的社区信任表示尊重，但基于本次审计结论，有必要向研究者发出警示，避免继续将存在缺陷的数据集作为前沿编码能力的核心评测依据。

对 AI 研究社区的潜在影响

SWE-Bench Pro 长期是衡量大模型在真实软件工程任务中表现的主流基准之一，众多前沿模型的发布都曾引用其在 SWE-Bench Pro 上的得分作为能力佐证。OpenAI 此番撤回推荐，可能带来以下连锁效应：

• 模型发布方在引用编码基准得分时需更加审慎，对评测方法的可复现性提出更高要求；
• 研究社区可能加速寻找或构建更可靠的替代基准；
• 围绕「基准有效性」的讨论将在学术与产业界进一步升温。

后续关注点

目前 OpenAI 已将完整的审计报告以链接形式附在原始推文中，供社区查阅具体方法、问题分类与任务列表。读者与研究者可关注以下几点：

• 审计方法是否公开透明，能否被第三方独立复现；
• 30% 异常任务的具体类型分布与判定标准；
• 是否有机构提出 SWE-Bench Pro 的修复方案或替代基准。

OpenAI 的此次审计为 AI 评测生态敲响了一记警钟：在模型能力快速迭代的背景下，评测基准本身的维护与校验同样不可忽视。