消息传递究竟有多重要？面向神经网络图回归的 GNN 层直接替换研究
How Much Does Message Passing Matter? A Drop-In Study of GNN Layers for Neural Network Graph Regression
精选理由
系统对比十种消息传递层，揭示其对图回归效果与成本的影响，并为不同图规模和任务提供选型依据。
AI 摘要
arXiv:2607.26404v2 公告类型：替换 摘要：图神经网络（GNN）被广泛用作回归器，例如用于预测神经网络架构的准确率。然而，新消息传递（MP）层的开发和基准测试几乎完全围绕分类任务展开，而回归流程通常只采用一种 MP 层，且不进行消融实验。我们探究了 MP 层的选择对图级回归究竟有多大影响。在保持四种现有 GNN 回归器的架构、损失函数和训练方案不变的情况下，我们替换了十种 MP 配置，涵盖卷积式、基于同构和基于注意力的设计。我们在十一个神经网络图数据集上对其进行评估；这些数据集的单图节点数从不足十个到超过一千个不等，样本数从几百个到超过四十万个不等。评估指标包括秩相关性、预测误差、top-$k$ 检索、延迟和内存占用。MP 层的选择会显著改变结果，我们发现，最佳选择取决于图规模、训练集大小和回归目标。在小型架构图上，GEN、$k$-GNN 和 PNA 等经典层以更低的成本达到或超越基于注意力的层的表现，而 GATv2 在仅包含少量大型图的数据集上表现良好。