Loopback Transformer：迈向残差循环 Transformer 的统一视角

arXiv:2611.07226v1 公告类型：新论文 摘要：循环 Transformer 通过反复应用共享模块来减少参数量，但仅靠参数共享并不能决定如何复用重复计算的结果。我们从残差连接的深度记忆视角出发，分析每次应用模块后存储的是哪种表示，以及后续读取如何对其加权。完整的模块输出既包含其输入，也包含新产生的更新，因此，对该输出加权也会重新调整输入中已携带的历史信息的权重。相反，若读取各次独立的更新，并将共享模块堆栈的输入保留在单独的路径上，就能分别控制输入强度、更新总权重以及权重在各次更新之间的分配。Loopback Transformer 实现了这些控制：几何衰减设定更新总权重并提供近因先验，注意力机制则学习如何分配该权重。在 ClimbMix 上，以参数规模从 191M 到 3B 的标准 Transformer 为参照，在训练词元数和实际执行深度相同的条件下，Loopback 仅使用基线 40–75% 的 Transformer 参数（不包括词元嵌入和输出头），就实现了更低的验证损失。在 1.4B 和 3B 规模下，它在十三项下游任务上的平均准确率也更高。在 191M、374M 和 778M 规模下，与标准 Transformer 及七种循环残差设计相比，它取得了最低的验证损失和最高的十三项任务平均准确率。