视觉推理中 RL 更新的选择性迁移

模型合并提供了一种无需训练的方法，可将语言模型的推理能力迁移到视觉语言模型（VLM）中，但基于端点的迁移可能将模型原有差异与推理后训练过程中获得的变化混淆在一起。为此，我们围绕训练阶段的更新来构建能力迁移方法，从而隔离由强化学习（RL）引起的参数变化。然而，完整迁移该更新仍非最优：我们发现，其各组成部分在跨模型迁移性方面存在显著差异，其中主导方向的迁移效果优于完整更新。基于这一发现，我们提出 Selective-RL：该方法隔离 RL 阶段的更新，在保持幅值的同时保留其按矩阵划分的主导方向，并将这些方向迁移到 VLM 的语言模块中。在三个模型系列和五个视觉推理基准上，Selective-RL 在 15 次比较中的 12 次改进了完整更新插值，其中在以 Qwen 为接收模型时，MathVision 提升了 8.55 个百分点。匹配对照实验表明，仅使用更新幅值或任意低秩结构都无法复现这些增益。这些结果凸显了后训练过程中获得的能力与可跨模型迁移的能力之间的区别，并从训练阶段的角度为跨模型能力迁移提供了新的视角。代码见 https://anonymous.4open.science/r/selective-rl】【。