漏洞定位基准：衡量仓库规模下的智能体安全分析能力

语言模型智能体日益能够在完整的软件仓库上运行，但网络安全评估主要衡量它们能否检测、复现或修复漏洞，而不是能否定位相关代码。我们研究漏洞定位问题：给定一种弱点类别和一个不熟悉的仓库，识别与该弱点相关的实现文件。我们推出 Vulnerability Localization Benchmark（VLoc Bench），包含来自 290 个仓库、分属六个软件包生态系统和 147 个 CWE 类别的 500 个真实漏洞。每项任务都将安全修复前后的紧邻仓库快照配对。在存在漏洞的快照上，智能体只能获得 CWE 描述和只读终端访问权限，并必须返回受影响的文件；在已修补的快照上，它必须判断记录的漏洞已不再存在。我们在统一的智能体接口下评估了 27 个语言模型和四种静态分析工具。仓库规模的漏洞定位仍然十分困难：最强系统仅取得 0.229 的 File F1，且在 38.4% 的任务中，任何受评模型都未能给出正确定位。 我们进一步发现，更强的定位能力并不意味着修复后的行为可靠：能够有效识别漏洞文件的系统，在已修补的仓库上仍可能报告缺乏依据的位置。这些结果确立了漏洞定位作为一种独立的仓库规模能力，并为研究安全智能体如何搜索存在漏洞的代码，以及何时应当避免报告漏洞，提供了一个研究环境。