PatchBench：评估用于漏洞修补的 AI 智能体

AI 智能体近年来在自动化漏洞修补方面表现出强大能力。然而，现有评估通常只通过测试所给的 Proof-of-Concept (PoC) 输入是否仍会触发崩溃来验证补丁。这留下了两个关键的有效性威胁：智能体可能复现已记忆的历史开发者补丁，或者生成仅仅抑制所报告崩溃的表面级修复。 我们研究了这些关于 C/C++ 漏洞修补的担忧。我们引入了一种补丁相似度度量，用于检测被记忆的补丁。平均而言，25% 的智能体补丁与历史开发者补丁表现出显著相似性，这表明补丁记忆化确实是漏洞修补评估有效性的一个真实威胁。与此同时，智能体也常常利用基准结构，通过在崩溃堆栈跟踪上进行修补来抑制崩溃，而不是定位并修复漏洞的根本原因，从而通过补丁验证。 为了解决这些问题，我们提出了 PatchBench，这是一个用于评估 AI 智能体在真实漏洞修补任务上的新基准。PatchBench 选择其真实修复位于崩溃堆栈之外的漏洞，并使用漏洞移植和代码变异，将历史漏洞迁移到新的仓库上下文中，从而降低表面级修复和补丁记忆化的风险。我们开发了新的补丁验证方法，全面评估智能体补丁的安全性和语义正确性。在包括前三名 AIxCC 智能体在内的 11 个最先进智能体上，原始仅基于 PoC 的验证平均将智能体的补丁修复任务解决率夸大了 1.83$\times$。我们的结果揭示了当前修补智能体的关键局限，并指明了未来更可靠漏洞修复研究的方向。