监督微调期间对涌现失配的特征空间监测

arXiv:2606.07631v2 公告类型：替换 摘要：当狭窄领域的微调诱发超出微调任务范围的危险行为时，就会出现涌现失配（EM）。通过反复进行行为评估来检测这种变化成本高昂，因此我们提出从内部表示出发，在检查点级别进行监测。我们基于七个与对齐相关的激活方向定义了一个固定坐标系，并利用它跟踪四个开源 7-9B 语言模型在 LoRA 微调期间的表示漂移。在该空间中，微调漂移呈现出一个主导轴，可解释 78.6% 的方差，并且在不同数据集、提取方案和参数更新容量下保持稳定。在来自三个与 EM 相关的留出数据集的 468 个检查点上，由此得到的监测器实现了 1.8% 的 FNR、2.0% 的 FPR 和 0.989 的 AUROC，优于语义、随机、PCA 和 SAE 特征基线。在第四个数据集上，匹配的良性—危险控制实验表明，良性微调也可能发生显著的表示漂移；但 7D 画像中的变化仍能区分危险运行与良性运行。在两个 14B 模型、全量微调、更长训练周期和失配初始状态上进行的压力测试表明，该信号能够在训练配置发生变化时持续存在，但要实现可靠部署，可能需要重新校准。