预测 On-Policy Self-Distillation 中特权信息的有效性

arXiv:2610.22512v1 公告类型：新 摘要：On-Policy Self-Distillation（OPSD）使大型语言模型（LLM）能够在无需单独教师模型的情况下从特权信息（PI）中学习。然而，已有工作大多将 PI 视为固定的设计选择，对其内容和构造方式所产生的影响缺乏充分理解。在多轮智能体场景中，这一问题尤为重要，因为轨迹包含动作、观测和推理过程，而这些内容可以通过多种方式转换为 PI。我们在三个多轮智能体基准和三个规模及推理模式各异的学生模型上，系统评估了 16 种 PI 配置。我们发现，PI 的有效性取决于其内容、生成来源以及学生模型。信息密度高的轨迹和由能力更强的生成器产生的 PI 通常能够带来更大的收益，而思维模型获得的收益则不太稳定。为在训练前评估 PI，我们将 PI 效用与两个基于 KL 的指标进行比较：采样 token 反向 KL（$D$）和错误步骤 KL 对比度（$\Delta d^{-}_{\mathrm{err}}$）。与 PI 效用相比，基于 KL 的指标能够更稳定地追踪训练后的性能，因为 PI 效用可能受到信息泄漏的扭曲。从经验上看，使用 $\Delta d^{-}_{\mathrm{err}}$ 为每个任务选择 PI，相较于随机选择也能提升训练后性能，且在 PI 候选之间差异较大时提升最为明显。最后，将有效的 PI 与 GRPO 结合后仍然能够带来收益，使组合目标的表现超过强大的 GRPO 基线。总体而言，我们的结果为 OPSD 训练中 PI 的构造与评估提供了实用指导。