SWE-Test：通过输入预测对 LLM 漏洞发现能力进行基准测试

漏洞发现正逐渐成为大型语言模型（LLM）代理的一项重要能力：悄然漏掉真实缺陷的代理会使关键软件暴露于风险之中。因此，严格测量这项能力迫在眉睫。然而，现有基准测试可能因数据污染而被钻空子，以一个无法获知的漏洞集合为基准评估召回率，往往依赖合成漏洞，并且只报告单一的端到端结论，无法定位代理究竟在哪个环节失败。漏洞发现是一项复合能力：代理必须理解源代码、推断输入约束、构造输入、执行输入，并根据反馈反复修正。我们将其测量重新定义为一种具有封闭且确定性真实答案的输入预测任务：利用覆盖率引导的模糊测试，我们从真实世界的 C/C++ 程序中挖掘深层目标分支，并要求代理预测一个能够驱动执行到达给定分支的输入。我们在涵盖 15 个领域的 22 个真实世界 C/C++ 程序上，将漏洞发现分解为三种任务模式。Open-loop 和 Feedback-enabled 在其中 16 个代码库（涵盖 13 个领域）上共享 60 个固定目标任务实例，用于测试不借助和借助距离预言机的输入构造能力，从而将代码理解与反馈驱动的修正区分开来。Online Arena 则移除预先设定的目标，在一个由 11 个程序组成、与前述集合部分重叠的独立程序池上，通过覆盖率增益对路径探索进行评分；代理在 6 个程序中共同确认了 13 个不同的漏洞。在评估的 15 种默认工作量模型-脚手架配置中，最佳配置在 Feedback-enabled 模式下的通过率也仅达到 55.0%；在 7 组配对的 Claude Code 配置中，带反馈时的平均通过率为 36.4%，不带反馈时为 19.3%。通过分解失败原因，我们发现约束推断而非路径导航是主要瓶颈。我们发布了 SWE-Test，并提供开箱即用的评估环境。