PatchBench：衡量激活修补中的附带损害

arXiv:2610.10276v1 公告类型：新发布 摘要：大语言模型的安全补丁即使通过了基准测试，也可能并不是有效的修复。这种风险在越狱修复中尤为突出，因为其目标是在不改变无关行为的前提下，纠正某一种特定的不安全行为。补丁可能拦截评测中的原始提示，却无法应对与之相近的有害变体；也可能通过过度拒绝措辞或结构相似的无害提示来抑制有害行为。现有评测方案主要测试模型的安全防护能否被突破，而汇总指标（攻击成功率、拒绝率、整体能力）无法区分选择性修复与范围更广的局部抑制。为填补这一空白，我们提出 PatchBench，这是一个基准测试，收录了通过实证观察发现的、针对特定模型且能诱发可操作有害回答的越狱失效案例。我们从 37 个公开数据集的 27,870 条提示出发，筛选出 15,314 条英文提示，并用它们查询了 8 个经过指令微调的开源模型。结合 WildGuard 过滤、成对 Elo 排名和人工核验，我们最终构建了一个包含 400 个高置信度越狱失效案例的精选库。我们进一步提出 PatchBench-Local，这是一套用于测试补丁是否能精准修正行为的评测方案。对于每条有害源提示，PatchBench-Local 都会生成三类局部邻近提示：保留恶意意图的有害变体、结构匹配的无害提示，以及复用关键有害词语的无害提示。该方案评估对有害邻近提示的纠正效果，以及对无害邻近提示的行为保留程度，从而区分选择性修复与范围更广的局部抑制。利用 PatchBench-Local 和 MMLU 对四种激活引导方法进行评测后发现，整体能力可以几乎保持不变，而局部无害提示上的表现却可能严重退化，这证实了汇总指标会遗漏重要的附带损害。PatchBench-Local 为开发和比较越狱修复方法提供了更精准的依据。