截断反向传播会让循环 Transformer 损失多少梯度？

arXiv:2610.28871v1 发布类型：新 摘要：循环 Transformer 会多次重复使用同一个层模块，并且通常只通过最后 k 次循环进行反向传播来训练。我们在九个循环语言模型上，精确测量了这种做法丢弃了多少权重梯度，并且对每个 k 值都只需进行一次反向传播即可完成测量，同时报告了三个发现。第一，在训练完成的模型上，丢失的梯度在输出附近就已基本确定：一旦循环次数明显超过 k，它几乎不再随循环次数变化（在我们测试的三个模型中，从 32 次循环到 64 次循环的变化约为 0.03 以内，这与针对 Parcae 预注册测试的预测一致）。当反向信号逐渐减小时，$\rho^k$（其中 $\rho$ 是通过拟合得到的每次循环信号收缩率）在中等循环次数下能够近似该信号，但在较长循环次数下会高估它，因为拟合纳入更多循环后，拟合得到的 $\rho$ 会逐渐增大。在 Ouro 上，信号会增长；即使保留四次循环中的两次，仍会丢失最终输出梯度的 81%。第二，在微调过程中，丢失的梯度会减少：在四个模型中的三个模型上，300 步以内减少了 0.07–0.22，在留出问题上也是如此。这种减少并不只是读出部分梯度所占比例的变化；仅训练循环之外的层就重现了其中最多一半的减少，而且在截断训练下这种减少也会发生。因此，训练完成的模型会高估截断方法之后所移除的梯度。第三，我们无法证明，相比那些无需测量的规则，该指标能更好地预测截断训练的成本：在两个新模型上，在相同的 k 值下，它与 Parcae 的成本预测打平；但测试规模太小，无法将二者区分开来。