面向安全性的策略内蒸馏会带来后门风险吗？

arXiv:2610.07654v1 公告类型：新增 摘要：策略内蒸馏（OPD）作为一种将能力从教师模型迁移到学生模型的有效方法，正受到越来越多的关注。近期研究进一步探索了将 OPD 用于提升大型语言模型安全性的可能性，并取得了令人鼓舞的结果。然而，这些方法通常假设教师模型和训练数据是可信的。在本文中，我们揭示了 OPD 在安全性方面一个被忽视的威胁：一个经过安全对齐但植入了后门的教师模型，能够将其隐藏的恶意行为传播给最初没有问题的学生模型。在我们的威胁模型下，即使污染率低至 3%，蒸馏后学生模型的攻击成功率（ASR）也最高可达 70%。我们进一步发现了两种会放大这一风险的训练选择。首先，增加训练轮数可能使低污染率下的 ASR 也达到较高水平。仅使用 10 个污染样本，经过 16 个训练轮次后，ASR 就可达到 67%。其次，常用的 top-k KL 会加速后门迁移，在大多数设置下，使触发条件下的有害行为比 sampled-token KL 更早出现。在这些发现的基础上，我们探索了一种简单的缓解方法 Lazy Defense：对 KL 奖励进行裁剪，使学生模型的更新不那么激进，从而限制激进更新并减缓后门学习。实验表明，在低污染率设置下，Lazy Defense 能够延迟后门迁移。总体而言，我们的研究发现 OPD 可能传播后门，凸显了应对 OPD 安全风险的必要性。