拒绝行为会局部化，损害却会迁移：少样本微调下的安全层

arXiv:2610.00320v1 公告类型：cross 摘要：微调可使经过对齐的大型语言模型（LLM）适应下游任务，但仅需几十个有害示例，就可能消除它们对有害请求的拒绝行为。先前研究将与安全相关的行为定位到特定层、方向和标记上，为防护提供了目标。我们检验了：成功的定位与恢复是否能够支持经受攻击变化的防御。在来自四个模型系列的六个检查点上，攻击后，有害提示与良性提示仍保持线性可分；将完整的干净隐藏状态注入受损模型后，可在一个可复现的过渡深度恢复拒绝行为。在此前层冻结防御的基础上，我们冻结截至该深度的所有层，并重复攻击。当使用一百个有害示例时，六个检查点上的拒绝率仍接近于零，且恢复过渡点均位于冻结边界之上。在第二项研究中，在四个检查点上进行仅注意力微调后，移除更新中最大的两个奇异方向即可恢复拒绝行为。在 Llama-3.1-8B 上，常规训练变化会削弱这种修复，而将更新分散开的攻击者能够使其失效。在良性 Llama 微调数据上校准的谱检测器，会漏检该检查点上大多数修复失败案例。尽管如此，当少量有害示例意外进入训练数据时，局部冻结仍有助于保持拒绝行为。这些结果表明，攻击者可以绕过通过恢复过程识别出的区域，并击败一种在多个检查点上均有效的修复方法，从而促使我们为防御自适应微调提出五项检查。代码可见于 https://github.com/js-lee-AI/refusal-relocates】【。