追踪预训练过程中的潜意识学习

arXiv:2610.30884v1 公告类型：新论文 摘要：在其他模型生成的数据上训练的大语言模型，有时会继承与这些数据无关的特征，这一现象被称为潜意识学习。我们研究了硬标签蒸馏和同策略软标签蒸馏：在前者中，学生模型使用带有偏见的教师模型生成的数字进行训练；在后者中，学生模型生成数据，教师模型的 logits 提供学习信号。使用 Pythia、PolyPythia 和 DataDecide OLMo 模型，我们发现，在这两种设置下，即使权重初始化、预训练数据顺序、预训练语料库、模型规模和架构存在差异，迁移仍然存在。在不同的预训练检查点之间，传递偏好的能力与习得偏好的能力各自独立发展：一些检查点作为教师模型更有效，但作为学生模型则较弱，反之亦然。与这一区别一致，当教师模型与学生模型的角色互换时，跨模型迁移的幅度可能呈现出显著的不对称性。为探究偏好信号由什么承载，我们构造了合成数字序列，使其数字频率与教师模型生成的数字频率相匹配，但不依赖于提示或前面的数字；我们发现，这些序列在硬标签设置下仍能引发显著的迁移。在 top-$K$ 软标签蒸馏中，从损失中移除动物词元会减少迁移，但在相同模型的设置下无法将其完全消除。在我们的实验中，与硬标签蒸馏相比，软标签蒸馏以更少的训练产生了更稳定的迁移。随着同策略蒸馏在模型后训练中的应用日益增多，这一设置对于评估非预期的偏好迁移尤为重要。