基于视觉可归因的在策略自蒸馏强化学习

具有可验证奖励的多模态强化学习（RLVR）能够提供可靠的任务级监督，但在定位视觉推理中的错误方面指导有限。在策略自蒸馏（OPSD）通过配备以证据为中心的视觉视图的特权教师，为这种监督提供了密集的词元级纠正作为补充。然而，这些纠正可能将视觉证据与由语言先验、回答风格或特权视图本身引起的非视觉偏移混为一谈。我们将这一现象形式化为特权纠正污染：当某个词元级纠正的更新方向无法持续归因于特权视觉证据时，该纠正即受到污染。因此，直接蒸馏受污染的纠正可能会强化错误的词元级更新。为解决这一问题，我们提出基于视觉可归因的在策略自蒸馏强化学习，这是一种证据一致的范式，将以视觉证据为基础的特权词元级纠正与任务级 RLVR 监督相结合。我们通过视觉归因门控（Visual-Attribution Gating，VAG）实例化了这一范式：该方法以验证器导出的优势作为优化锚点，并根据包含证据与证据退化的教师视图之间的对比，对每个特权纠正进行验证。VAG 仅接纳在方向上得到这种视觉对比支持的纠正，从而保留以视觉为基础的引导，同时抑制不一致的残余项。在六个视觉推理基准上的实验表明，VAG 持续优于 GRPO 和 OPSD 方法，取得了新的平均性能最优结果。