EvoOPD：面向黑盒同策略蒸馏的特权信息策略演化

arXiv:2611.06542v1 公告类型：新论文 摘要：专有语言模型展现出强大的推理和编程能力，但其输出分布不可访问，使得依赖教师模型 logits 的细粒度蒸馏方法难以直接应用于黑盒模型。我们观察到，黑盒教师模型提供的丰富文本反馈可以视为特权信息（PI），并通过以 PI 为条件的特权教师模型，转化为针对学生模型自身轨迹的密集监督信号。然而，应从教师模型获取何种 PI 才能最有效地支持学生模型学习，目前仍不明确。PI 策略在关注点、请求的信息以及提供的详细程度方面各有不同，可能对当前学生模型产生显著不同的影响，而且它们的相对有效性还可能随着训练推进而变化。基于这一观察，我们提出了面向黑盒同策略蒸馏的特权信息策略演化方法（EvoOPD），将 PI 获取本身视为一个优化问题，并维护一个随学生模型状态演化的 PI 策略库。EvoOPD 根据测得的 PI 对当前学生模型的修正效用，动态调整教师反馈的关注点、信息类型和粒度，使所获取的信息持续匹配学生模型的学习需求。我们以 Qwen3-1.7B、4B 和 8B 为学生模型，在数学推理和代码生成任务上对 EvoOPD 进行了系统评估。EvoOPD 在全部六种模型与任务组合中均取得了最佳整体表现，相较于各组合中最强的基线方法，在数学任务上平均提升 2.14 个百分点，在代码任务上平均提升 1.30 个百分点。进一步分析表明，PI 获取策略的相对有效性会随学生模型状态变化，因此固定策略难以在整个蒸馏过程中始终保持最优。