CrossGMN：用于跨架构权重空间变换的图元网络

arXiv:2610.01649v1 发布类型：新论文 摘要：权重空间网络直接作用于其他神经网络的参数，从而能够执行预测模型属性、编辑训练好的模型以及生成权重等任务。神经元排列等权重空间对称性使得等变性成为关键设计原则。然而，现有的等变权重空间架构主要针对保持网络架构不变的变换进行研究。相比之下，许多实际变换（包括模型压缩和扩展）会将训练好的源网络映射为具有不同架构的目标网络。在这种情况下，源网络和目标网络的置换对称性作用于不同的参数空间，因此等变性的表述不再直接。我们解决这一不匹配问题的核心思路，是将跨架构算子重新表述为具有两个输入：一个训练好的源网络和一个目标网络的初始化。这样，我们就能定义等变的跨架构算子，利用源网络的信息来优化目标网络的初始化，同时对源网络的置换保持不变，并对目标网络的置换保持等变。基于这一表述，我们提出了 CrossGMN，这是一种图元网络，通过保持对称性的跨网络消息传递共同处理两个网络。我们证明，在一般位置假设下，CrossGMN 对紧集上的连续跨架构算子具有通用性。我们在模型压缩任务中评估了 CrossGMN：通过预测较小网络的参数，加速后续的知识蒸馏。在二维和三维 INRs 以及使用 MLPs、CNNs 和 Vision Transformers 的图像分类任务中，CrossGMN 最高可将蒸馏速度提升 8.89 倍；无需重新训练即可跨数据集迁移（提升 3.78 倍）；此外，单个模型还能够将不同源架构的压缩过程加速到一个统一的目标架构。