Latent Recurrent Thoughts：用于冻结 LLM 推理的提议潜变量循环细化

思维链推理在离散的 token 空间中展开：每一步都以文本形式落定，错误会传播，而且要诱导出好的轨迹，前提是已有可供模仿的轨迹。相比之下，在模型的连续表征空间中进行推理——其中中间状态是向量而不是词语——可以绕开这些限制，但也留下了一个问题：这些潜在状态应如何计算。我们从两个方面来处理这一问题。首先，我们保持一个大型语言模型（LLM）冻结，并让它发挥本就擅长的作用——建模和解码序列——同时由一个小型辅助网络提供连续的潜在思维作为输入。其次，我们通过递归来生成这些潜变量：一个小型循环推理器在多步中对其进行细化，将计算深度与模型规模解耦，使这些潜变量成为迭代处理的产物，而不是一次前向传播的结果。我们将其实现为 Latent Recurrent Thoughts（LRT）：一个任务专用的 proposer 提供基础潜变量，一个循环推理器通过有界的残差修正对其进行细化，而冻结的 LLM 负责解码答案。在仅有答案监督、没有推理轨迹的符号推理任务（Countdown-4、Sudoku）以及自然语言推理任务（HumanEval、MBPP、StrategyQA）上，LRT 在相同的解码器、提示、数据和训练预算下，显著优于先前的冻结解码器连续空间推理方法，并且仅以同一骨干模型推理计算开销的一小部分，就超过了非思考模式的思维链提示。