可迁移图元网络

arXiv:2610.00420v1 公告类型：cross 摘要：权重空间网络（或元网络）将另一个神经网络的权重作为输入，并预测该网络的属性。以往大多数工作都在一种或少数几种固定规模的输入网络上训练此类模型，并在分布内进行评估。少数针对分布外规模泛化的尝试仍然范围有限，且仅取得了有限的成功。因此，在小型网络上训练、再在规模大得多的网络上进行评估所带来的潜在效率提升，基本尚未实现。我们提出 Transferable Graph Metanetworks，通过一系列改进扩展图元网络范式，使性能能够迁移到宽度不同的输入网络之间。这些改进遵循两项原则：对不同宽度网络表示同一函数的方式保持不变性；以及保持连续性，使表示相似函数的权重获得相似的预测。我们进一步研究了对于从随机初始化开始、独立训练的输入网络，规模泛化是否可行。在我们考察的每项任务中，实验证明这些改进都显著提升了规模泛化能力。对于采用最大更新参数化（$\mu$P）训练的输入网络，性能最为出色，并且在达到训练宽度的 $42\times$ 时仍保持稳健。从理论上看，我们利用无限宽度极限理论解释了这些观察结果：我们证明了模型在以 $\mu$P 训练的输入网络上的规模泛化保证，并解释了为什么在其他参数化方式下可能失效。