大型远距离梯度未必可靠：面向长时域自回归预测的可靠性加权信用分配

arXiv:2609.12890v3 公告类型：替换 摘要：在自回归预测中，长预测展开提供了远距离监督，但通过时间反向传播（BPTT）会使这些损失的梯度穿过许多自回归步骤。重复的雅可比矩阵乘积可能使远距离梯度在更新中占据主导，同时放大可预测信号和不可预测创新；因此，较大的远距离梯度未必携带可靠的学习信号。受此启发，我们提出 Internal Dual-Wiener 路由（Internal-DW），这是一种仅作用于反向传播的干预方法，保留完整的前向展开和所有步损失，同时对内部梯度路径进行可靠性加权。在每个残差块中，我们为恒等路径和非线性路径推导有界的 Wiener 增益，在保留可预测学习信号与抑制不可预测变化之间进行平衡，并利用路径级梯度统计量和显式噪声模型对其进行估计。在一个已知梯度信噪比（SNR）的受控系统中，我们展示了远距离梯度可能不断增大，而其 SNR 却持续下降；Internal-DW 能够降低恢复可预测梯度信号时的误差，并改善预测效果。在四个由历史主导、外部驱动较弱的测试平台上，相较于完整 BPTT，Internal-DW 将预测误差降低了 5.2%–13.8%；在其中三个测试平台上优于梯度裁剪和雅可比正则化，在剪切流上表现相近；在三个测试平台上优于通过验证集选择的截断 BPTT（TBPTT）。此外，在这四个测试平台上，它还扩展或保持了拟合得到的最优训练时域范围。在各项基准测试中，当前的 Internal-DW 估计器具有明确的适用边界：当可利用的历史信息有限，或所选采样器无法表示主要的、依赖驱动的变化时，其收益会减弱，甚至转为负面。结果表明，保留长时域监督并不要求对每一项反向传播贡献一视同仁地予以信任。