质疑 RLVR 中的工具性趋同：来自 OLMo-3 检查点的证据

工具性趋同常被用作一种普遍理由，认为能力强大的智能体会形成或表现出寻求权力的子目标，例如自我保存、资源获取、欺骗或抵制监督，而这些行为对社会构成重大威胁。对于大语言模型（LLM），强化学习是后训练中首个针对目标直接优化行为的阶段；因此，根据工具性趋同（IC）理论，趋同的工具性行为很可能在这一阶段出现。采用可验证奖励的强化学习（RLVR）是否会使模型更有可能表现出工具性趋同行为，还是说这取决于训练方案、评估框架以及后训练所处的阶段？我们将这一问题作为随检查点变化的行为轨迹来研究，而非仅比较训练前后的单一安全分数。我们使用 InstrumentalEval，对 OLMo-3-7B-Think 在 SFT、DPO、13 个中间 RLVR 检查点以及最终 RLVR 模型上的表现进行评估。该轨迹并非单调变化：工具性行为发生率从 SFT 阶段的 25.0% 上升至 RLVR 约第 200 步时的 46.1%，随后在最终检查点降至 11.8%。条目级配对检验和逐步回归分析均支持从 SFT 到最终 RLVR 的发生率下降。提示词框架无法解释这一模式：有害提示词指示变量与其他框架效应合计平均只能解释各检查点内部得分方差的 15%；迭代零空间投影（INLP）消除了一个可检测到的框架方向，却未改变 SFT 与最终 RLVR 之间的差距。结合初步的 32B 端点评估结果（从 SFT 的 35.53% 降至最终 RLVR 的 22.37%），这些发现表明，在这一设置下，RLVR 并不会使工具性行为单调增加：其发生率先在早期上升，随后降至 SFT 基线以下。这一结果仅适用于该模型系列和基准，且评判者之间的一致性处于中等水平，因此应谨慎解读绝对发生率。