Adam 的早期记忆选择

arXiv:2610.08624v1 公告类型：新 摘要：我们提出了一种方法，通过短期试运行训练来选择 Adam 中的共享记忆参数 $\beta_1=\beta_2=\beta$。选定的 $\beta$ 在随后完整训练期间保持不变。Adam 归一化方向的局部模型在采样变异性与对过去梯度进行平均所引入的延迟之间实现平衡。这种平衡给出了一个三次记忆规则，其两个系数通过少数几个试运行检查点上的梯度探针进行估计。该估计器联合使用分子和分母，从而保留二者之间的协方差。在包含 200 次更新的试运行中，于四个检查点各使用 16 个探针梯度；在 11 个视觉和语言工作负载上进行种子匹配的回顾性评估，相较于共享 $\beta=0.95$ 的网格代表值，平均相对验证间隔降低了 40.7%，最差四分位数的平均间隔降低了 44.3%。此外，相较于在全部 11 个工作负载上统一选取的最佳常数 $\beta$，平均间隔也降低了 32.3%。