答案正确，轨迹无效：可验证的小学数学揭示了思维链轨迹的什么问题

人们普遍将思维链轨迹视为模型得出答案的过程记录，并据此进行调试、智能体审计以及关于推理的论断。由于自然语言形式的思考轨迹很少能够通过机械方式验证，对这一理解进行检验十分困难。我们在 iGSM 上重新审视这一问题。iGSM 是一个用于研究思考轨迹的合成小学数学基准，也曾被用于支持模型学会推理和规划的相关论断。关键在于，iGSM 提供了正确解答应使用的确切数量及其依赖关系，因此可以逐步对生成的轨迹进行程序化检查，并检验正确答案是否始终可靠地伴随着有效轨迹。我们首先评估仅使用有效且最简轨迹训练的模型。在分布内，答案正确性与轨迹有效性在分布上几乎一致，但在分布外二者发生脱钩：在最难的实例上，31.6% 的正确答案对应着无效轨迹，其中超过一半的轨迹通过了所有语法和算术检查，却未能通过语义依赖关系检查。随后，我们对轨迹监督进行了干预。非最简训练轨迹会诱导出非最简输出；而使用不同查询重新提问同一道题，则会显露出从原始查询中继承而来的计算过程，从而削弱了“最简性”作为选择性规划证据的意义。在 10% 的训练轨迹句子中打乱词元，即使在分布外，也能保持近乎无损的准确率，尽管没有任何轨迹通过验证。交换训练轨迹同样能够保持较高的分布内准确率。我们将结合 AI safety 的背景，讨论这些发现对思维链监控与解释的影响。