揭开同策略蒸馏的神秘面纱：教师的优势究竟在哪里？

arXiv:2610.19145v1 公告类型：新论文 摘要：同策略蒸馏（OPD）作为强化学习的一种低成本替代方案，正受到越来越多的研究关注，但其本质仍是一种依赖教师监督的知识蒸馏（KD）。我们从 KD 的视角重新审视 OPD，探究在学生生成的轨迹中，教师的优势究竟体现在哪里。通过在教师与学生意见不一致的位置进行受控的词元替换，我们直接衡量教师纠正带来的准确率提升。在选定的失败轨迹上，单次词元替换带来的平均提升较为有限，而反复替换则将准确率从 28.4% 提高到 74.5%，接近教师的 76.9%。随着替换次数增加，收益持续累积，但在替换次数相近时，基于概率质量和 KL 的选择策略比随机替换高出 15–18 个百分点。OPD 之后，选择性干预仍然有效，但 argmax 一致性的提高并不能在不同模型配对中稳定地带来准确率提升。我们主张采用能够学习更有价值的教师纠正、同时保持分布稳定性的训练方案。受控替换和分叉消解分析通过衡量学生学到了哪些教师偏好，以及进一步纠正还能挽回多少性能，提供了超越准确率的 OPD 评估方式。