再多走几步：为什么防御恶意微调的措施会在持续训练下失效

arXiv:2605.14605v3 发布类型：replace-cross 摘要：模型提供商越来越多地发布大型语言模型的权重。尽管这些模型在发布前已完成安全对齐，但通过使用有害数据进行微调，往往可以移除其安全防护。越来越多的防御措施旨在使对齐能够抵御此类恶意微调，但这些防御通常只针对具有固定训练预算的攻击进行评估，即使持有权重的攻击者可以简单地延长训练时间。我们考察了当前的防御措施能否抵御这种最简单的升级攻击。通过调查15种近期防御措施，我们发现它们存在一个共同弱点：每种防御都建立在对攻击者的有限模型之上，例如有界扰动、短时模拟攻击，或在有害行为与良性行为之间训练出的关联；而在权重发布后，没有任何机制能够强制维持这种保护。随后，我们在4个开放权重模型上测试了6种具有代表性的防御措施，将同一种仅使用有害数据的微调攻击持续训练3个epoch，并在此过程中测量有害性和能力。在全部72次防御实验中，模型在训练结束时的有害性都高于发布时；在最高学习率下，Llama-3.1上的防御模型最终几乎与未防御模型同样有害。这些防御措施的脆弱程度并不相同：其中一种防御在一个模型上将有害性维持在较低水平，而有些攻击只有在牺牲通用能力的情况下才能恢复有害性。当前的防御措施可以延缓或扰乱恶意微调，但在大多数情况下，其测得的抵抗能力无法在持续训练下保持，因此目前不应将其视为持久性的保护措施。