LEGO-OPD：用于多模态在线策略蒸馏的因子化教师组合

arXiv:2610.00333v1 公告类型：cross 摘要：多模态在线策略蒸馏（OPD）旨在提升视觉对齐能力，同时保留语言模型强大的推理能力。近期的多教师方法结合 LLM 和 VLM 教师，以提供互补的监督信号。然而，直接使用 VLM 的完整预测分布，会将其视觉对齐信号与自身的语言先验纠缠在一起，使对齐信息无法被独立传递。相反，增强视觉监督强度虽然可以改善感知能力，却可能过度强调视觉证据，从而削弱语言推理能力。为解决这一权衡问题，我们提出 LEGO-OPD，将 Language Expert 和 Grounding expert 中的因子有选择地组合成一个教师分布，用于多模态 OPD。在广义贝叶斯框架下，Language Expert 为候选 token 提供先验，而 Grounding expert 提供视觉似然，用于更新该先验，而不是传递其完整的预测分布。这种因子化组合使语言推理和视觉对齐能够被独立控制。我们进一步引入自适应校准，以确定在每个解码前缀下视觉似然应以多大程度更新语言先验。具体而言，LEGO-OPD 使用 Grounding expert 由图像引起的预测偏移作为依赖于前缀的参照，从而避免视觉监督不足或过度。基于 Qwen3 模型的实验表明，在多模态和纯文本推理任务上，LEGO-OPD 均稳定优于所评估的单教师和多教师 OPD 基线。此外，它在保留纯文本推理能力的同时，提升了初始学生模型的视觉感知能力。