超越策略差异：能力感知的多教师在策略蒸馏

arXiv:2610.26950v1 公告类型：新 摘要：多教师在策略蒸馏（MOPD）将领域专家整合到一个共享学生模型中，但如何确定每位教师应施加多强的监督仍然具有挑战性。现有的基于差异的分配方法可能会在学生已经达到或超过教师在相关任务上的表现时，仍分配较强的监督，因为行为不匹配并不一定意味着仍存在能力缺口。我们提出能力感知的多教师在策略蒸馏（CA-MOPD），将专家合并与能力引导的分配相结合，以考虑学生已经学会的内容。CA-MOPD首先将强化学习专家合并为一个强大的学生初始化模型，然后利用验证器估计的教师—学生能力差距，调整领域级蒸馏强度。随着能力差距缩小，监督强度降低；当估计的学生能力出现退化时，监督强度增加，同时教师仍持续提供密集的词元级指导。在涵盖数学、代码生成和指令遵循的六个基准测试中，CA-MOPD取得了32.22的平均分，分别比朴素MOPD、Open-MOPD和合并初始化高出0.86、0.83和0.74分。在训练预算相匹配的条件下，受控对比实验进一步证明了合并初始化和能力差距引导的优势。