学会计算并不等于学会在循环 Transformer 中保留或复用

arXiv:2610.19768v1 公告类型：新论文 摘要：循环 Transformer 通过反复应用同一个模块进行计算，因此可以运行比训练时更多的循环次数。已知循环推理模型会出现过度思考：迭代超过训练深度后，可能将正确答案变成错误答案。这种后期错误可能反映了计算失败、保留能力丧失，或某个状态无法被后续计算复用。我们在上下文内 Mealy 机执行任务中区分这些情况，其中模拟器提供中间目标以及用于隐状态干预的精确反事实。训练为在第 32 次循环作答的模型，在该次循环时完全正确，但到第 64 次循环时仅保留了其中 22% 的正确答案。保留能力取决于训练要求：对每个样本随机选择一个位置进行监督，而非始终监督最后一个位置，可以保留 99.8% 的正确答案；随机化训练循环次数也有帮助；而像旨在抑制过度思考的渐进式训练那样截断梯度，则没有帮助。计算本身是精确的：位置 $k$ 在第 $k$ 次循环时完成计算，将其第 $k$ 次循环的隐向量替换为另一个输入对应的隐向量，会使所有后续位置转向该输入的精确后续序列（十个模型中，每个模型的 237/237 对样本均如此）。然而，保留并不等于复用。即便在能够保留几乎所有答案的模型中，从第 $k$ 次循环起固定每个位置 $k$ 的状态，也会使准确率降至 4--6%；而从第 $k+4$ 次循环起固定状态则无碍。一个已发布、经训练以避免过度思考的循环迷宫网络也表现出相同的行为。因此，学会计算并不等于学会保留，而避免过度思考也不会使状态在其答案首次出现时就具备可复用性。