迈向差分隐私优化中的超参数迁移

arXiv:2610.22976v1 公告类型：新 摘要：缩放定律和超参数调优仍是大规模模型训练中的核心挑战，尤其是在差分隐私（DP）场景下，噪声注入和逐样本梯度裁剪进一步增加了优化难度。尽管 Maximal Update Parametrization（$\mu$P）能够在标准训练中实现零样本超参数迁移，但我们表明，由于高维噪声与低秩梯度具有不同的谱特性，它在 DP 约束下会失效。在本工作中，我们提出 DP-$\mu$P，这是一种具有理论依据的框架，将 $\mu$P 扩展到隐私保护场景。通过分析梯度裁剪、噪声注入与特征学习之间的相互作用，我们推导出一个控制逐层学习率缩放的信噪比（SNR）条件。结合我们提出的谱缩放公式，我们为 DP-SGD、DP-Adam 和 DP-Muon 优化器给出了具体的缩放规则。实验结果表明，DP-$\mu$P 能够在多种架构（MLP、ViT、GPT-2）之间实现有效的学习率零样本迁移，其性能达到或超过分别调优的基线，同时显著降低计算成本。