接口与模块：一种用于跨架构权重空间学习的可扩展表示

arXiv:2610.21995v1 公告类型：新 摘要：跨架构的权重空间学习需要既能遵循参数对称性、又能扩展到大型网络的表示。现有的等变张量编码器需要针对特定架构指定对称性，而神经元图会使全局注意力的计算成本高昂。我们围绕共享的坐标置换作用，引入了一种带类型的图结构。其节点称为接口（interfaces），表示坐标空间；与之绑定的张量轴必须协同置换。操作实例称为模块（modules），构成带类型的超边。我们为支持的 PyTorch 模型开发了一个编译器，可从中推导该图，并根据其约束精确恢复所定义的置换因子。通用权重编码器（Universal Weight Encoder，UWE）将针对参数特征的局部等变更新，与基于接口不变摘要的全局注意力相结合。接口数量较少，使全局注意力变得切实可行，同时单个编码器即可处理不同的支持架构。在既有基准测试中，UWE 的表现可与针对特定架构的先进方法相媲美。在一个包含 100 种架构、共 1,200 个 transformer 的全新模型库中，UWE 在对未见过的架构中的网络进行排序时优于所评估的基线方法，其中包括规模大于训练所用架构的架构，同时显著减少了内存使用。