一个教师，多种视图：降低同策略自蒸馏对参考解答的敏感性

arXiv:2610.30880v1 公告类型：新论文 摘要：同策略自蒸馏（OPSD）利用以参考解答为条件、可获取特权信息的模型副本提供密集的词元级监督，在模型自身生成的轨迹上训练模型，从而提升推理能力。现有方法通常使用以完整参考解答为条件的单一教师分布。我们指出了这一框架的一个局限：参考解答只是推理过程的一种具体实现。它虽然提供了有关答案的证据，但也包含了特定的顺序、措辞和求解路径。因此，以完整参考解答为条件可能产生虽正确却过度依赖学生模型在推理时无法获取的信息的目标。我们发现，在保持问题和学生模型状态不变的情况下，将一个有效参考解答替换为另一个，可能显著改变教师分布。我们将这一现象称为参考解答引起的目标不稳定性。为解决这一问题，我们提出 Monte Carlo Privileged Distillation（MCPD），将特权上下文建模为参考解答局部视图上的分布，并对边缘化后的教师分布进行蒸馏。MCPD 在多个视图下计算教师模型的输出，并对所得的下一词元分布取平均。我们证明，这种概率空间中的平均值，恰好是最小化特权视图上教师到学生的期望 KL 散度所得到的目标。在数学和科学推理基准测试中，我们表明，MCPD 提供的监督在不同参考解答之间更为一致，且始终优于使用完整参考解答的 OPSD。