原生安全能否迁移？通过策略内蒸馏跨模型复用安全预训练

arXiv:2610.27555v1 发布类型：新增 摘要：安全预训练已成为一种很有前景的范式，能够在预训练期间将安全性深度嵌入模型，使模型具备对后续微调的鲁棒性，而传统的安全后训练通常难以达到这种程度。我们将模型在预训练期间获得的这种安全性称为原生安全。然而，原生安全的获取成本高昂，局限于进行预训练的模型本身，并且往往伴随着较低的通用效用。在本文中，我们重新思考安全预训练模型的实际价值，并首次提出原生安全复用问题：能否将原生安全从一个专门的、可能规模更小的安全预训练“教师”模型迁移到经过标准预训练的“学生”模型，使后者在保留通用效用的同时继承前者的鲁棒性？我们证明，原生安全可以通过策略内蒸馏实现“迁移”。经过标准预训练的学生模型针对安全预训练提示词生成响应，而一个小型安全预训练教师模型则沿着学生模型自身生成的轨迹，对其进行逐词元预测监督；跨分词器对齐进一步支持在不同模型系列之间进行迁移。由此得到的学生模型相比经过安全后训练的模型表现出显著更强的安全鲁棒性，同时其通用效用高于教师模型：后续微调仅使1.7B学生模型的平均攻击成功率（ASR）提高5.00%，而安全后训练会使该数值提高11.58%；其平均效用为48.20%，远高于对齐后教师模型的27.42%。不同于传统的大模型向小模型知识蒸馏，我们的框架实现了选择性的小模型向大模型安全迁移：它复用了规模更小的预训练教师模型所具备的稳健安全专业能力，同时避免继承其效用局限。这些发现表明，原生安全是一种可复用的模型属性，而不是永久绑定于最初进行预训练的模型。