经校准的目标噪声可从梯度中恢复曲率

arXiv:2611.07671v1 公告类型：新论文 摘要：仅从梯度估计曲率信息是机器学习中的一个基本问题。当只能获取聚合后的小批量梯度，却仍需曲率信息来支持优化中的预条件处理、采样和早停等应用时，这一挑战尤为突出。或许令人意外的是，我们证明，一种简单的目标扰动方案就足以仅从梯度中恢复此类曲率信息。我们的方法向目标中注入零均值噪声，并根据局部输出曲率校准其方差。由此产生的含噪批量梯度的协方差即可恢复实用的曲率矩阵，无需逐样本梯度、二阶导数或其他网络内部量。对于一大类非线性模型，我们的方案可恢复广义 Gauss--Newton（GGN）矩阵；对于前馈 ReLU 网络，它还可恢复总体 Hessian 矩阵的对角块。我们表明，由此得到的估计器简单、轻量，具有可证明的最优性，且易于集成到现有训练流程中。实验表明，该方法能够准确恢复曲率，将该估计器用于预条件处理可加快优化，而估计得到的 GGN 也可有效用于早停。