SoftServe：一种可扩展的深度学习拟牛顿方法

拟牛顿（QN）方法长期以来一直是大规模无约束凸优化中最有效的方法之一。非凸性和参数规模过大这两个障碍限制了其在深度学习中的应用。我们提出了 SoftServe，这是一类旨在克服这些障碍的 QN 方法，无需线搜索或临时曲率修正。SoftServe 从 Berglund et al. (2025) 的变分目标中推导出正定曲率估计，即使存在负曲率时也同样如此。我们开发了对角变体和 Kronecker 分解变体，通过构造确保正定性，并可扩展到超大规模神经网络。最后，SoftServe 依赖稳定的耦合 Newton-Schulz 迭代来执行所需的矩阵运算，以适合 GPU 的矩阵乘法取代代价高昂的矩阵分解。在条件数极差的问题上，SoftServe 表现出色，包括循环网络、深度自编码器、物理信息神经网络以及一个包含 136M 个参数的物理信息扩散模型等任务；与 Adam、Muon 和 SOAP 等成熟基线方法相比，SoftServe 往往能够取得更低的损失。