高效推理训练并不总是损害 CoT 的忠实性与可监测性

思维链（CoT）推理使人类能够检查大型语言模型如何得出答案，并监督模型的行为。这种推理会增加推理成本，因此人们开始研究高效方法，训练模型用更少的 token 完成任务。然而，一个常见担忧是，这类训练可能导致模型跳过重要的推理步骤，使 CoT 不再忠实地反映模型的决策。由于不同的高效方法会以不同方式对模型的 CoT 施加长度压力，并且在不同任务中，忠实解释模型决策所需的 token 数量也有所不同，目前尚不清楚这种情况在实践中是否会发生，以及何时会发生。为了解这些动态，我们采用三种施加不同长度压力的方法，对多种模型进行微调，分别是固定生成预算、逐样本长度目标和组相对长度奖励。我们评估了高效推理如何影响 CoT 的忠实性（即 CoT 在多大程度上反映模型对相关输入的决策）和可监测性（即当对输入进行干预导致输出发生变化时，CoT 是否会揭示这一点）。我们发现，高效推理对忠实性和可监测性的影响并不相同。在大多数设置下，忠实性会下降，主要原因是训练后的模型一致性变差。可监测性则更加稳健：即使 CoT 大幅缩短，模型仍会承认输入变化对其答案的影响。