分支式同策略蒸馏

同策略蒸馏（OPD）在学生模型生成的轨迹上提供教师监督，但单条轨迹在每个决策点仅实现一种后续生成，因此在有限采样预算下，监督覆盖范围受到限制。我们提出 BranchOPD（分支式同策略蒸馏），利用学生模型的不确定性和教师与学生模型之间的分歧来选择信息量高的决策点，从共享前缀出发重新采样学生策略的后续生成，并对主轨迹和分支施加词元级教师监督。BranchOPD 在数学任务中作用于词元级决策，在智能体任务中作用于轮内决策。相较于七条独立轨迹，共享前缀复用使 ALFWorld 和 WebShop 上学生模型生成词元的成本分别降低约 19% 和 31%。我们还引入了协议边界修复（PBR），在协议约束下使用针对性监督，以减少重复和无效生成。BranchOPD 在所有评估基准上均优于 Vanilla OPD 和 Multi-Rollout OPD（n=7）；相较于 Vanilla OPD，其在 16 个采样答案上的平均数学准确率（avg@16）提高了 18.55 个百分点，ALFWorld 分布内（ID）与分布外（OOD）的平均成功率提高了 13.8 个百分点。机制分析和选择策略消融实验表明，在不确定的决策点进行分支可扩大后续行为的覆盖范围，且效果优于随机选择和轮次起始处分支。