面向超低秩 LLM 训练的感知漂移流式 $k$-PCA 优化器 Ori

arXiv:2610.22794v1 发布类型：new 摘要：由 GaLore 开创的一类重要低秩 LLM 优化器采用梯度子空间投影：在每一步中，它们将梯度投影到低维子空间，再将更新映射回完整模型。现有大多数工作要么每隔一段时间重新计算梯度子空间，要么进行事后适应，以追赶不断变化的子空间。在本工作中，我们明确识别出，实际情况下 LLM 梯度子空间会随时间以缓慢且稳定的方式发生漂移。为此，我们提出 Ori，一种用于训练 LLM 的新型低秩优化器。Ori 能够捕捉随时间变化的梯度主方向，从而在严格的低秩约束下实现最先进的准确率。Ori 采用受 Oja++ 启发的流式 $k$-PCA 算法，其较低的单步开销支持高频率、在线的子空间跟踪。在实践中，在 1B LLaMA 预训练任务上，Ori 将最先进低秩优化器与全秩优化器之间的性能差距最多缩小了 69.3%；在 Roberta-Base 微调的 16 个任务场景中，有 10 个取得了最佳性能。总体而言，这些贡献使 Ori 进一步拓展了梯度投影优化器的性能与效率边界，缩小了 LLM 低秩训练与全秩训练之间的差距。代码见 https://anonymous.4open.science/r/Ori-Submission-2132。