通过 Safety-Direction Penalty 缓解推理诱发的失准

推理诱发的失准（Reasoning-Induced Misalignment）指的是，在不含有害内容的推理数据（包括数学、代码以及带有思维链轨迹的问题求解）上进行微调，可能诱发 LLM 的有害行为，从而对 LLM 推理的安全性构成严重挑战。跨架构、跨规模和跨数据集的检查表明，RIM 并不总是会出现。以往工作将 RIM 归因于神经元层面的纠缠，但没有识别出这种纠缠背后表示空间的几何结构，也没有提出训练时的修复方法。我们同时提供了这两点：对 RIM 的表示空间分析，以及 Safety-Direction Penalty（SDP），它会在推理微调期间惩罚沿学习到的安全方向的移动。该分析提取了两个激活空间方向，一个编码推理能力，另一个编码安全行为。这些方向相互耦合：提升推理能力的微调会改变安全表示，而产生更大变化的提示会表现出更大的安全性下降。CKA 距离比率和探针定位了这种变化最相关的安全决策层。这些发现指导了 SDP 的设计：这种耦合促使我们惩罚沿安全方向的位移，而层定位则确定了初始作用范围。当初始范围在受惩罚层之外留下补偿性变化时，相同的诊断方法可指导迭代扩展。在 Qwen2.5-3B 和 7B 上，SDP 在保持基准推理性能的同时恢复了安全性。