Balanced Adam 的早期记忆选择

我们提出了一种方法，通过短期试运行训练来选择 Adam 中的共享记忆参数 $β_1=β_2=β$。在随后完整训练期间，所选 $β$ 保持不变。Adam 归一化方向的局部模型在采样变异性与平均过去梯度所引入的延迟之间进行平衡。这种平衡得到一个三次记忆规则，其两个系数通过少数几个试运行检查点上的梯度探测进行估计。该估计器联合使用分子和分母，从而保留二者之间的协方差。在四个检查点各使用 16 个探测梯度、共进行 200 次更新的试运行中，针对 11 个视觉和语言工作负载进行与随机种子匹配的回顾性评估；与共享 $β=0.95$ 的网格代表值相比，验证集间隙的平均相对值降低了 40.7%，最差四分位数的平均间隙降低了 44.3%。与在全部 11 个工作负载上统一选择的最佳常数 $β$ 相比，平均间隙也降低了 32.3%。