Where-OPD：利用合成场景对 MLLMs 进行空间引导的在策略自蒸馏

在策略自蒸馏近期已成为提升语言模型推理能力的有效方法，其通过让接收特权信息的冻结版本或 EMA 版本的自身模型来监督学生模型。在多模态大语言模型（MLLMs）中的应用却仍处于探索阶段。近期方法利用特权视觉信息（例如与问题对应的图像裁剪区域）来提升细粒度感知能力，但其效果仅限于受益于此类视觉放大的任务，并且需要人工标注的定位数据或外部教师模型。我们为 MLLMs 引入了一种不同形式的在策略自蒸馏：向教师模型提供文本形式的、具有空间定位依据的指导，以识别与查询相关的视觉元素。我们使用程序化生成的场景，其中自动提供物体身份和空间坐标，从而实现可扩展且无需标注的后训练。教师模型利用这种空间指导，在多个相关图像区域中定位并整合证据；学生模型则仅根据图像和问题学习复现这一行为。我们的方法在多个模型上的计数、文档理解和图表理解基准测试中均能稳定提升性能。值得注意的是，尽管后训练仅使用合成场景，所得改进仍能迁移到真实世界感知基准，在 CVBench、V*、ZoomBench、BLINK、HR-Bench 和 MME-RealWorld 上的平均性能提升了 3.23 个百分点。这些结果表明，具有空间定位依据的特权信息能够通过在策略自蒸馏诱导出更广泛的感知能力，使模型在后训练所使用的任务和数据分布之外实现显著的从合成数据到真实世界的迁移。项目主页：https://github.com/sirkosophia/Where-OPD