重新审视安全对齐大型语言模型中的过度拒答：表示与优化视角

过度拒答是大型语言模型（LLM）安全对齐的一种严重副作用，会导致模型错误拒绝那些无害但表面上具有风险的查询。尽管现有缓解方法已取得成效，但在正确的安全监督下，安全对齐的 LLM 为何仍可能拒绝无害查询，这一问题尚未得到充分理解。为弥补这一空白，我们从表示与优化的角度分析过度拒答现象。我们得到两点观察：1）在某些中间层中，有害样本与过度拒答样本的表示在视觉上具有可区分性，但在更深层中却逐渐重叠；2）有害样本的梯度表现出较高的类内相似性，并集中于一个低秩子空间。此外，在过度拒答提示上，这些梯度与拒答目标梯度的对齐程度高于其与正确帮助目标梯度的对齐程度。这种不平衡的梯度耦合会使过度拒答样本在优化过程中偏向拒答，而更深层中表面上减弱的表示分离度，则可能使模型更难在有害样本与过度拒答样本之间维持清晰的边界。为此，我们提出 GOAL（Gradient Orthogonalization with contrAstive Learning），一种用于缓解过度拒答的安全对齐框架。具体而言，GOAL 包含两个部分：1）为防止不平衡的梯度耦合使过度拒答样本的优化偏向拒答，我们将过度拒答梯度与从有害梯度中提取的低秩拒答子空间进行正交化；2）为显式增强有害样本与过度拒答样本表示之间的分离度，我们引入对比学习目标。在多个模型和基准上的大量实验表明，GOAL 能够在保持安全性能和通用能力的同时，有效缓解过度拒答。