开放权重 LLM 微调防御措施容易受到简单攻击

arXiv:2605.26526v2 公告类型：替换 摘要：近期用于保护开放权重大型语言模型（LLM）的防御措施旨在防止对其进行对抗性使用。这些防御措施的基础假设是：新的有害行为是通过微调学习得到的，而不是通过越狱诱导模型产生的。然而，预训练 LLM 已经在众多领域编码了大量有害知识，这引出了一个重要问题：攻击者能否在完全不进行微调的情况下，通过越狱保护模型来实现有害用途？本文表明，开放权重防护措施容易受到更简单策略的攻击。尽管这些策略广为人知，但此前尚未针对这类防护措施进行系统评估。具体而言，我们评估了两种低成本攻击——abliteration 和 prefilling——它们不依赖基于梯度的优化。在三个有害性评测基准（BeaverTails、HarmBench 和 AdvBench）上，这些攻击将受保护开放权重模型的攻击成功率从低于 10\% 提高到 16\%-96\% 的范围。为缓解这一漏洞，我们提出了抗 abliteration 调优（ART），将基于 abliteration 的目标函数纳入训练过程。ART 可叠加到现有防御措施之上，并将 abliteration、prefilling 及其组合攻击的成功率降低 10\%-20\%。这些发现表明，开放权重模型的攻击面比此前所描述的更广泛，对防护措施的评估应纳入更多样化的攻击策略，而不能局限于对抗性微调。