蒸馏图几何：从 GNNs 到 MLPs 的知识鸿沟

arXiv:2610.10520v1 发布类型：新论文 摘要：GNN-to-MLP 蒸馏旨在保留消息传递教师模型的预测准确率，同时在推理时部署无图 MLP。现有方法主要传递节点级预测，或使用基于置信度的重新加权，但并未明确学生模型应在何处保留教师模型所诱导的图几何结构。我们发现，这一缺失会导致学生表示空间中的两种谱失效模式。在稀疏图上，学生模型会出现谱欠拟合，遗漏集中于边界区域附近的高能量教师方向。在稠密图上，学生模型则会出现谱过拟合，保留教师模型通过聚合已经消除的伪方向。受能量加权的教师-学生对齐目标启发，我们提出 Graph Geometry-aware MLP (G^2MLP)，一种由 Ollivier-Ricci 曲率引导的训练时蒸馏框架。曲率能够识别两类谱误差集中的位置，并据此在预测层面对齐与表示层面对齐之间分配监督信号。部署后的模型仍是标准 MLP，在推理时无需访问图结构。在多个节点分类基准上，G^2MLP 始终优于无图蒸馏基线，在两种情形下均缩小了教师与学生之间的秩差距，并且无需更改架构即可迁移到 Graph Transformer 教师模型和链路预测任务。