Recurrent Looped Transformer

arXiv:2610.07591v1 公告类型：交叉收录 摘要：状态跟踪需要在每次输入时进行更新，但 Transformer 对每个词元应用的计算深度是固定的，不随序列长度变化。我们提出 Recurrent Looped Transformer（RLT），将其层划分为并行因果编码器和循环解码器。对于每个词元，解码器将编码器输出与前一个词元的最终解码器状态合并，从而在保持每个词元计算成本固定的同时，使计算路径随序列长度增长。我们在六项算法任务上，使用三个随机种子，将八层的五种划分方案与八层 Transformer 进行比较。在训练长度最多为 40 比特的情况下，两种 RLT 划分方案在每个随机种子下都能以 100% 的准确率将奇偶性判断泛化到 256 比特，而 Transformer 仍处于随机猜测水平。在长度为训练长度八倍的基于交换的 $S_5$ 置换跟踪任务中，RLT 的最终状态准确率达到 97%，而 Transformer 不足 1%，且准确率随解码器深度增加而提高。在超出训练长度的模运算任务中，RLT 的准确率最高达到 93%，而 Transformer 为 33%。消融实验表明，这些提升依赖于反馈：移除反馈后，所有划分方案在奇偶性判断和基于交换的 $S_5$ 任务上的表现均降至随机猜测水平。每四个词元组成一个块并更新一次反馈，可以让块内已知词元并行处理，同时将 64 比特奇偶性判断的准确率保持在 99%；但置换跟踪依赖于逐词元反馈：分块使长度为 64 的基于交换的 $S_5$ 任务准确率从 100% 降至 20%。