MIRROR：从另一视角学习以实现多模态推理

arXiv:2607.21552v2 公告类型：replace-cross 摘要：对于同一个底层问题，采用文本形式还是视觉形式呈现，可能导致视觉语言模型（VLMs）的表现截然不同。这种不一致性表明，不同视角会显露出不同的推理路径和失效模式，而标准的多模态后训练尚未充分利用这些差异。为研究并利用这一现象，我们构建了 ODA-Data，这是一个高质量的配对多模态几何数据集，针对相同问题提供文本主导、图像主导以及图像+文本组合视角，并划分了用于训练和评估视角依赖推理行为的子集。随后，我们提出 Modality-Informed Reciprocal Reasoning Optimization（MIRROR），这是一种强化学习方法，可从模型自身依赖于模态的能力中提取跨视角自蒸馏信号。对于每个问题，MIRROR 会评估模型在所有视角下的表现，选择表现最佳的视角作为教师，并使用 GRPO 任务奖励目标来训练其余视角，同时引入以该教师为目标的反向 KL 正则项。在评估多模态数学问题的各项推理基准上，MIRROR 优于标准强化学习，并使模型在不同输入模态表示下的表现更加准确、一致。