继承而非创造：追溯推理模型中 Wait 的来源

arXiv:2610.30882v1 公告类型：新论文 摘要：强化学习（RL）被认为教会了推理模型在重新考虑某一步骤之前写下 {wait}，然而，RL 带来的大幅准确率提升并不需要这个词。这种观点可能会混淆 RL 发现的内容与模型从训练数据中继承的内容。我们追溯了这个词在开放模型训练历程中的来源，使用频率、位置、形式和用法等无标签指标，以及一项注入错误测试来分析它，所有指标和测试结果均根据采样输出计算得出。我们发现，zero-RL 几乎从不创造这一标记：对于不使用该词的基础模型，RL 显著提高了 MATH-500 准确率，而 {wait} 仍几乎不出现。它是随训练数据而来的：在 OLMo-3 中，它出现在中期训练阶段；对于大多数基础模型不使用该词的模型，基于推理轨迹的微调会引入这一标记。当基础模型已经使用它时，两种已发布的 RL-Zero 训练方案（OLMo-3、MiMo）都会使其出现频率成倍增加，而从同一基础模型出发、不使用 KL 约束的 GRPO 则不会；OLMo-3 的方案会削弱其形式，使它成为更敏感但也更容易误报的警报；监督微调之后的 RL 几乎不会改变它，而我们的 GRPO 方案则会抹去微调所植入的标记。最后，我们表明，仅凭标记频率并不能判断是否存在 RL 所诱导的推理，并提醒人们谨慎使用以 LLM 为评判者的修正指标，因为自动评判者得出的趋势可能与人工标注的趋势相反。