渐进式失对齐可能源于良性的递归自蒸馏

arXiv:2610.22467v1 公告类型：新摘要：在模型自身输出上进行训练，作为推动 AI 能力发展的可能途径，已经受到广泛关注。其中一种重要方法是自蒸馏，即让模型学习匹配其在获得额外上下文（例如提示、反馈或指令）后本会生成的词元级预测。然而，人们对这一训练过程的安全属性知之甚少。在本文中，我们展示了递归自蒸馏的一种出人意料的安全失效：每个经过自蒸馏的模型都会成为下一轮训练的教师模型。我们观察到，当一个安全模型在接收额外的非有害提示的同时，基于其自身生成的（安全）内容进行递归自蒸馏时，它在一系列不同的有害查询上会变得越来越失对齐；我们将其称为“渐进式失对齐”。我们在 Qwen3 和 Phi-4 模型系列上，使用 SORRY-Bench 和 StrongREJECT 展示了这种失效模式。在一种更现实的设置中，渐进式失对齐同样会出现：将固定提示替换为一个具有良性意图的模拟用户所提供的反馈。我们还利用一种基于梯度的方法，找到了在应用递归自蒸馏时会导致渐进式失对齐的良性提示，这表明这种失效模式的出现并不需要有害的训练提示。我们希望本研究能够推动未来对基于自身数据进行递归训练的 AI 系统之安全属性展开进一步研究。