图神经网络中的超参数迁移

arXiv:2607.05017v2 公告类型：替换 摘要：深度学习模型的性能在很大程度上取决于学习率、初始化尺度和权重衰减等超参数的设置。超参数迁移旨在使近乎最优的超参数设置在不同模型规模下保持一致，从而通过对规模更小、优化成本更低的对应模型进行代理调参，实现对大型模型的优化。尽管语言和视觉任务中稠密神经网络的迁移原理已得到广泛研究，但针对图神经网络（GNNs）的相关探索仍相对不足。我们为使用 SGD、Adam 和 AdamW 训练的 GNNs 开发并验证了一种迁移参数化方案。通过理论尺度分析和受控实验，我们表明，随着宽度和深度增加，所提出的参数化方案能够实现稳定的特征更新、学习率迁移以及性能提升。对于 SGD，我们确定了依赖于图的首层校正因子，并表明在输入为稀疏词袋表示的图上，使用这些因子可以加速训练早期的学习过程。对于 Adam，我们探讨了不同的消息传递归一化方式如何影响训练早期和后期的迁移行为，阐明了消息传递归一化的重要性，并主张为其引入一个相关超参数。对于 AdamW，我们调整了一种参数化方案，使权重衰减与学习率能够联合迁移。总体而言，这些结果为在多种学习任务和训练场景中扩展 GNNs 的规模提供了一套实用方法。