Where-OPD：利用合成场景对 MLLMs 进行空间引导的在策略自蒸馏

arXiv:2610.02117v1 公告类型：cross 摘要：在策略自蒸馏近期已成为提升语言模型推理能力的一种有效方法，其通过接收特权信息的冻结版本或 EMA 版本的自身模型来监督学生模型。然而，将其应用于多模态大语言模型（MLLMs）仍基本处于探索阶段。近期方法利用特权视觉信息（例如与问题对应的图像裁剪区域）来提升细粒度感知能力，但其增益仅限于受益于此类视觉放大的任务，并且需要人工标注的定位数据或外部教师模型。我们为 MLLMs 引入了一种不同形式的在策略自蒸馏方法：为教师模型提供文本形式、具有空间定位依据的指导，以识别与查询相关的视觉元素。我们使用程序生成的场景，其中自动提供物体标识和空间坐标，从而实现可扩展且无需标注的后训练。教师模型利用这些空间指导，在多个相关图像区域中定位并整合证据；学生模型则仅凭图像和问题学习复现这一行为。我们的方法在多个模型上的计数、文档理解和图表理解基准测试中均能稳定提升性能。重要的是，尽管后训练仅使用合成场景，所得改进仍能迁移到真实世界感知基准，在 CVBench、V*、ZoomBench、BLINK、HR-Bench 和 MME-RealWorld 上的平均性能提升了 3.23 个百分点。这些结果表明，具有空间定位依据的特权信息能够通过在策略自蒸馏诱导出更广泛的感知能力，使模型实现显著的从合成数据到真实数据的迁移，且超越后训练所使用的任务和数据分布。项目页面：https://github.com/sirkosophia/Where-OPD