Matrix AdaGrad：逐行和逐列自适应次梯度方法

AdaGrad 和 Adam 等自适应优化方法广泛应用于现代神经网络训练，但其自适应缩放主要针对向量参数设计，并未显式利用矩阵结构。近期的矩阵感知优化器展现了结构化优化的优势，但目前仍缺乏一种通用的理论框架，用于推导出与 AdaGrad 相当的矩阵感知自适应方法。在本文中，我们针对矩阵值参数构建了一个带自适应近端函数的通用 Online Mirror Descent 框架，通过在线遗憾最小化为推导矩阵感知自适应优化提供了一个有原则的方法。通过引入逐行和逐列的矩阵近端函数，并分析由此产生的遗憾权衡，我们推导出 Row-wise Matrix AdaGrad (Row-AdaGrad) 和 Column-wise Matrix AdaGrad (Column-AdaGrad)，其自适应缩放由累积的逐行或逐列梯度范数决定。我们建立了遗憾保证，并证明在梯度具有结构的情况下，这些矩阵感知界可以严格优于逐元素 AdaGrad 的界。在矩阵分解和深度神经网络训练上的实验进一步表明，使自适应缩放与矩阵结构相匹配能够带来诸多优势，包括在更大学习率和更深网络下提高优化稳定性与可训练性。