用于能力保持的慢-快多教师在线策略蒸馏

arXiv:2610.02324v1 公告类型：新 摘要：基础多模态大语言模型旨在支持跨不同领域的广泛能力。多教师在线策略蒸馏（MOPD）为将特定领域的专业知识整合到单一学生模型中提供了有效框架。然而，MOPD 训练会逐渐使学生模型偏离其初始化模型，并且随着偏离程度增大，其通用能力会不断下降，从而导致能力干扰。一个直接的解决方法是将学生模型约束在其初始化模型附近，但这也会抑制领域专业能力的获得。我们提出 Slow-Fast Multi-Teacher On-Policy Distillation（SF-MOPD），将快速模型与慢速模型结合起来：快速模型是由各教师模型直接更新的当前学生模型，慢速模型则是学生模型的指数移动平均。慢速模型逐步吸收学习信号，充当一个动态变化的能力参照，将通用基础能力与已得到确认的领域专业能力融合起来。对于每个教师模型，SF-MOPD 在对数概率空间中计算教师模型引起的更新，并仅移除使快速模型进一步偏离慢速模型的分量，同时保留方向一致的分量和正交分量。在多个模型规模上的实验表明，SF-MOPD 能够有效缓解能力干扰，增强专业多模态能力，并降低通用能力基准测试上的平均性能退化，始终优于原始 MOPD。