E$^2$-OPSD：抑制同策略自蒸馏中的熵过冲

arXiv:2610.05048v2 公告类型：替换 摘要：同策略自蒸馏（OPSD）无需第二个模型，即可提供密集的词元级监督：同一个网络在获得参考解答时充当教师，在仅获得问题时充当学生。我们发现了这一方法的一种特定失效模式。在训练过程中，学生的词元熵上升并超过教师的词元熵，且持续处于高位，我们将这一现象称为熵过冲。我们将其成因追溯到蒸馏的两个方面。以参考解答为条件的教师在其答案导向的推理路径上表现得很有信心，但这种信心难以迁移到学生生成的前缀上，导致其监督过度依赖特定答案的线索，而非可复用的推理模式；与此同时，OPSD 使用的前向 KL 散度不断使学生的预测分布变得分散，却没有将其拉回的机制。我们提出 E$^2$-OPSD 来解决这两个问题。示例引导教学用检索到的相近问题及其解答替代当前问题的答案，在不透露目标答案的情况下提供可迁移的推理指导，并更好地匹配学生可达到的状态。熵感知蒸馏利用学生与教师之间的熵差，确定每个词元的校正方向和强度。与 OPSD 相比，E$^2$-OPSD 在数学推理上的 mean@16 指标最高提升 4.3 个百分点；域外评估则表明，相较于对应的基础模型，其 mean@16 和 pass@8 指标分别最高提升 4.9 和 5.5 个百分点。在取得这些提升的同时，E$^2$-OPSD 仍保持简洁，无需额外的前向传播或网络。