校准教师--学生差异以进行在策略蒸馏

在策略蒸馏（OPD）通过学习更强教师与在策略学生之间的词元级差异来提升推理模型。然而，这种差异并不能纯粹反映教师与学生之间的能力差距：其中还包含由教师自身产生的偏离，这些偏离随后与观测到的教师--学生差异混杂在一起，并在训练过程中被标准 OPD 不加区分地学习。特权 OPD 进一步加剧了这一问题，因为特权信息会导致教师侧的似然发生更大的偏移，从而促使学生学习更多教师自身的偏离。我们提出 \textbf{Calibrated On-Policy Distillation (Cal-OPD)}，通过正向和负向特权干预来估计教师的自偏离区域，并对原始教师--学生差异进行校准，仅保留超出该区域的部分。在数学推理基准测试中，尽管仅保留了原始教师--学生差异约 52--65\% 作为优化信号，Cal-OPD 仍在不同模型规模下持续优于标准 OPD 及其变体。