特权上下文引起的在策略自蒸馏漂移

arXiv:2610.07842v1 公告类型：新 摘要：在策略自蒸馏（OPSD）训练语言模型，使其匹配在特权上下文条件下运行的自身副本。现有研究在改变特权上下文所包含的内容及其生成方式的同时，也改变模型、数据和训练设置，因此难以单独隔离特权上下文设计所产生的影响。受到持续学习中减少灾难性遗忘相关工作的启发，我们研究特权上下文的选择如何影响策略漂移。具体而言，我们考察两个维度：内容（示例、反馈或改述）和来源（外部生成、使用验证器自生成，或不使用验证器自生成）。我们在三个数据集上，针对这九种组合使用 OPSD 训练 Qwen2.5-7B，并测量目标任务准确率、先前任务保留率、相对于基础策略的反向 KL，以及参数更新几何特征。在固定来源的情况下，改变内容所覆盖的中位数 KL 范围，大于固定内容而改变来源所覆盖的范围。这两个范围之比，对于逐 token KL 为 $5.1\times$，对于逐序列 KL 为 $2.2\times$。参数更新几何特征呈现出相同模式：共享内容的适配器所产生的更新之间具有更高的一致性（平均余弦相似度为 $0.571$），高于共享来源的适配器所产生的更新（$0.255$）。对于持续学习而言，这些发现表明，特权上下文应被视为 OPSD 稳定性设计的一部分，因为它与策略移动的距离及方向有关。