相同奖励，不同技能：多模态 RL 何时学会观察

arXiv:2610.01908v1 公告类型：新 摘要：即使训练期间没有视觉信息，带可验证奖励的强化学习（RLVR）也能提升视觉-语言基准测试分数。在测试时提供图像后，盲训练模型在 3B 规模上恢复了真实图像增益的大约一半，在 7B 规模上则接近五分之四。持续进行真实图像训练可能会削弱落地能力，但基准测试收益仍会持续存在。这两项发现揭示了同一个差距：提示中的图像，并不等同于学习信号中的图像。我们的设计原则“视觉可解性”要求：视觉证据对于得出正确答案必须是必要的，同时任务仍须具备可学习性。我们在反事实坐标场景上对其进行测试：问题保持不变，目标从不被点名，因此要得到正确答案，就必须在图像中找到目标。使用标准 GRPO 以及正确性和格式奖励后，一个 7B 模型在留出场景上的目标寻找准确率（发现）从 0.425 提升到 0.875；这些场景比它训练时见过的任何场景都更加密集，而且它在从未训练过的问题类型上也有所提升。两个对照实验确定了增益的来源。将测试图像替换为灰色画布后，发现率降为零；改为使用灰色画布进行训练时，在步数匹配为 30 且四个随机种子中的每一个上，即使随后使用真实图像进行测试，模型也几乎无法获得任何增益。所学技能还能迁移到独立于训练语料构建的落地任务上。在相同图像、奖励和预算的条件下，加入一段能够回答训练问题的图像描述，会使增益减少近三分之二。奖励所要求的内容发生变化，RL 学到的内容也会随之变化。