本地开放权重 LLM 智能体在漏洞复现任务上的表现分析

arXiv:2611.06257v1 公告类型：交叉收录 摘要：能够在单张消费级 GPU 上运行的开放权重语言模型，正逐渐胜任越来越多的任务。它们的重要性在于能够在本地运行，无须将代码发送至托管服务。漏洞复现，即将漏洞描述转化为能够使含漏洞的构建版本崩溃的输入，是这类模型的一个自然应用方向，因为它是一项更接近测试生成而非代码理解的自动化分析任务，而且其操作对象是必须实际执行而非仅供阅读的构建版本。为评估当前模型能否完成这项任务，我们在统一的评测框架下，针对十项 CyberGym 漏洞复现任务评估了十二种本地模型配置，涵盖三代模型、两种架构和三个量化级别，每项任务运行三次，并公开了完整的实验产物。结果表明，包括小至 4B 的模型在内，所有配置都能解决六项较简单任务中的大多数，配置之间的差异仅体现在其余四项任务上。较难的任务则需要 27B 模型。在所有配对比较中，量化都未改变模型能解决哪些任务，但改变了完成任务的速度；混合专家模型则以更短的实际耗时取得了相同的分数。我们还考察了智能体的执行轨迹。在我们检查的运行记录中，几乎每次运行，包括失败的运行，都能指出存在漏洞的函数并提出正确的假设；而任务成功与否的关键，在于能否将该假设转化为有效的输入。