质疑 RLVR 中的工具性趋同：来自 OLMo-3 检查点的证据

arXiv:2610.31624v1 公告类型：新论文 摘要：工具性趋同经常被用作一种普遍理由，用以预期能力强大的智能体会形成或表现出寻求权力的子目标，例如自我保护、资源获取、欺骗或抵制监督，这些行为对社会构成重大威胁。对于大语言模型而言，强化学习是后训练中首个直接针对目标优化行为的阶段；因此，依据工具性趋同（IC）理论，这一阶段很可能出现趋同的工具性行为。采用可验证奖励的强化学习（RLVR）是否会使模型更有可能表现出工具性趋同行为，还是说，这取决于训练方式、评估框架和后训练阶段？我们将这一问题作为随检查点变化的行为轨迹来研究，而非仅用单一的训练前后安全评分进行比较。我们使用 InstrumentalEval，对 OLMo-3-7B-Think 在 SFT、DPO、13 个中间 RLVR 检查点以及最终 RLVR 模型上的表现进行了评估。其轨迹并非单调变化：工具性行为发生率从 SFT 阶段的 25.0% 上升至 RLVR 第 200 步附近的 46.1%，随后下降至最终检查点的 11.8%。逐项配对检验和按训练步数进行的回归分析支持从 SFT 到最终 RLVR 的下降趋势。提示表述方式无法解释这一模式：有害提示指标与其他表述效应结合，平均仅能解释同一检查点内评分方差的 15%；迭代零空间投影（INLP）消除了一个可检测到的表述方向，却未改变 SFT 与最终 RLVR 之间的差距。结合初步的 32B 端点结果（从 SFT 的 35.53% 下降至最终 RLVR 的 22.37%），这些发现表明，在这一设置下，RLVR 并不会使工具性行为单调增加：其发生率先在早期上升，随后降至 SFT 基线以下。这一结果仅适用于该模型家族和基准，且评判者之间的一致性处于中等水平，因此应谨慎解读绝对发生率。