级联梯度方法中的瞬态放大：精确极小极大规律与无共振跟踪

arXiv:2606.04031v3 公告类型：替换 摘要：包括双层方法和双时间尺度方法在内的领导者-跟随者梯度迭代，尽管具有渐近稳定性，仍可能出现较大的有限时间偏离。对于具有块矩阵 J = [[A,0],[C,D]] 的级联迭代，其中对称对角块的范数至多为 gamma < 1，耦合范数至多为 c，我们证明了一个精确且与维度无关的极小极大公式：在每个时域 t 上，最坏情况下的放大倍数等于 [[gamma^t,0],[c t gamma^(t-1),gamma^t]] 的谱范数，并且该界可由一个对齐的二维二次模型达到。因此，最坏瞬态放大为 1 + c/(1-gamma) 的量级，而仅凭特征值无法预测有限时间增益。在鞅噪声下，对齐系统具有平稳跟随者方差 sigma^2 c^2 (1+gamma^2)/(1-gamma^2)^3，从而确立了逆间隙的三次标度关系。对于二次跟随者，耦合可通过 C = (I-D)R 与跟随者敏感度 R 联系起来。当领导者具有各向同性且跟随者映射为半正定时，无论谱间隙如何，放大倍数至多为 1 加上 R 的算子范数。前瞻 Newton 更新消除了跟随者记忆，并且在能够精确跟踪领导者的线性更新中达到极小极大最优。实验验证了这些界，并表明当加速的或不精确的跟随者求解器具有负特征值的有效映射时，其表现可能超过敏感度界。代码和实验脚本：https://github.com/Axym-Labs/transient-amplification