基础模型可以从训练数据中获取线索进行推理

本文研究训练数据如何在基础模型响应开头的 token 与随后出现的推理行为之间建立关联。首先，我们证明，固定特定的起始 token 线索，可以使基础模型在数学和代码任务上的表现达到与其经过强化学习（RL）训练的对应模型相当的水平。例如，线索 ".\n\nOkay" 可将 Olmo-3-7B 在 MATH-500 上的 pass@1 准确率从 42% 提升至 78%，而 "Alright," 则可将 Qwen3-14B 的准确率从 72% 提升至 87%。其次，RL 会提高这些线索出现的可能性，而固定这些线索则可以恢复其相对于基础模型所获得的大部分性能增益。第三，我们将 token 线索的推理效果追溯至训练数据。我们通过因果数据干预，将任意词语（例如 "chicken"）变成有效的推理线索，或移除现有线索的作用。类似的编辑可以使提示指令 "Think duck duck goose" 在诱发推理方面与 "Think step by step" 同样有效。我们还发现，不同线索所诱导的隐藏状态表示，与训练集中的不同文档类型存在相关性。最后，我们通过一个语言模型安全案例研究扩展了对 token 线索的研究，发现不同线索会诱发不同的拒答和服从行为，而这些行为分别对应于不同类型的训练数据。