兼容性至关重要：一种用于在策略蒸馏中进行令牌级教师选择的框架

arXiv:2610.21234v1 公告类型：新 摘要：在策略蒸馏（OPD）最近被提出作为持续学习的一种有前景的范式，其中可以在令牌级别对学生策略进行监督。通常，OPD 针对每次提示词采样（甚至每次训练运行）只使用一个教师。然而，这忽略了在策略特性所带来的另一维灵活性——在采样过程中进行令牌级教师选择。基于这一洞见，我们从理论上探究教师与学生在 OPD 中实现兼容的条件，并利用研究结果推导出若干用于教师选择的经验启发式方法。具体而言，我们的框架涵盖了 OPD 的若干期望特性：兼容的师生推理模式、教师能力，以及所诱导的学生多样性。在理论方面，我们对若干种教师路由方案进行了分类，并证明在不同情境下，不同的路由方案可能分别有利于优化和学生多样性。我们在数学、编程、内核生成和视觉推理等领域进行了广泛实验，以验证我们的发现。在某些任务上，与 vanilla OPD 和教师专家相比，pass@$k$ 提升了超过 10 个百分点，表明该方法不仅能提升能力，还能在高质量回答的基础上提高多样性。