通过无需训练的权重编辑抵御有害指令

arXiv:2610.21189v1 公告类型：新 摘要：遵循指令的语言模型可能会服从与预期行为和安全对齐相冲突的请求。我们提出了一种无需训练的权重编辑方法，用于降低模型对特定不良指令的服从程度。我们的方法针对每种目标行为仅需在少量提示词对上进行前向传播；由于编辑结果存储在模型权重中，修改或删除提示词中的指令无法撤销这一权重修改。我们在五个经过指令调优的模型上，针对两种目标有害行为进行了评估：指令性虚假陈述和指令性性别歧视。在两个指令性说谎基准测试中，与最强的替代方法相比，该方法使平均诚实回答率分别提高了6.2和4.6个百分点；在五个模型中的三个模型上，这一提升具有统计显著性，在另外两个模型上则处于噪声范围内。在一项包含七种提示词格式的受控研究中，当要求说谎的指令以构建编辑时未使用的单轮格式出现时，该方法仍比单层激活引导保持更高的诚实回答率。对于指令性性别歧视，该方法将平均性别歧视回答率从57.9%降至24.3%；将该编辑与公平性提示词结合后，回答率进一步降至11.9%。这些结果表明，我们基于对比的权重编辑方法是在两个不同的行为领域中有效的、无需训练的干预手段，支持将其单独使用，也支持将其与基于提示词的安全防护措施结合使用。