超越猫头鹰：潜隐学习可以迁移已学能力和后门

arXiv:2610.10657v1 宣布类型：新 摘要：在潜隐学习（SL）中，教师模型通过在与某种特征语义无关的数据上进行蒸馏，将该特征传递给学生模型。迄今为止，SL 仅在有限范围的特征上得到验证，包括对动物（例如猫头鹰）的偏好和恶意人格。这些特征也可以通过简单提示或引导来诱发。SL 能否迁移更广泛的特征，包括更复杂的特征？如果可以，蒸馏可能会在不被检测到的情况下迁移细微形式的失对齐（例如追求奖励、谋划和秘密忠诚）。为此，我们测试 SL 能否迁移一种新能力：预测随机初始化 MLP 的输出。在无关文本上进行蒸馏后，学生模型在该任务上取得了相当不错的表现，尽管仍不及教师模型。我们发现，直接优化得到的引导向量在分布内与 SL 的效果相当，但在分布外的泛化能力更差。接下来，我们测试 SL 是否能迁移后门。我们对教师模型进行微调，使其在提示中包含女性姓名时用法语作答，然后在既不包含姓名也不包含法语的数字序列上进行蒸馏。学生模型部分习得了该后门：对于包含女性姓名的提示，它有 23.5% 的概率用法语回答；而对于包含男性姓名的提示，这一比例为 0.0%。最后，我们测试 SL 是否能在智能体国际象棋环境中迁移进行黑客攻击的倾向。我们使用经过引导的黑客教师模型生成的数字序列对学生模型进行微调。在 58.3% 的回合中，学生模型会实施黑客攻击，而未经微调的模型这一比例为 10.9%。因此，我们证明了 SL 可以迁移能力、后门和黑客攻击倾向。迁移程度对具体设置较为敏感。在多项实验中，使用 logit 蒸馏或将 LoRA 限制在注意力层，都能增强迁移效果。