当安全路由失效时：理解良性微调下的对齐脆弱性

良性微调会严重削弱大型语言模型（LLMs）的安全对齐，因此我们研究拒绝行为为何如此脆弱。现有工作常将这一失败归因于梯度冲突，而我们提出一种本质不同的 Fisher 几何解释：安全 Fisher 是低秩的，并且对齐会使安全几何更平坦，同时保留一条输出路由路径。在经过 100 个良性微调样本后，这条路径会在输出侧 MLP 模块中被选择性地重新锐化，从而解释这种非对称脆弱性：安全性可能崩溃到很高的攻击成功率，而通用能力只会轻微退化。路由视角也解释了为何少量安全样本就能恢复拒绝行为，这表明与安全相关的内部表征仍然被保留。最后，我们表明，LoRA 和 ASAM 通过抑制输出侧尖锐性来缓解早期崩塌，但在更大规模的微调下，这种保护会减弱。总体而言，安全失效最好理解为对一种低秩输出路由机制的破坏