arXiv cs.LG精选73

无需固定扩散的不动点:用于收敛测试时计算的隐式神经层

Fixed Points Without Fixed Diffusion: Implicit Neural Sheaves for Convergent Test-Time Computation

· 9天前

精选理由

提出具收敛保证的隐式神经网络,提升异质图上的非局部推理与社区检测能力。

AI 摘要

arXiv:2609.30277v2 公告类型:替换 摘要:隐式图神经网络(IGNNs)将节点表示定义为图神经算子的固定点,从而实现实际上无限深度的传播、与迭代次数无关的参数化,以及灵活的测试时计算。然而,这些优势依赖于平衡点的唯一性以及通过固定点迭代达到该平衡点。现有构造通常会对递归更新施加约束以获得这些保证,从而限制了平衡点处可用的变换。这引出了一个核心问题:IGNNs 能否通过更丰富的、依赖边的变换提升表达能力,同时保留其平衡点形式所固有的优势?我们提出了 SheafDEQ,一种采用自适应神经层传播的次齐次深度平衡架构。其学习得到的矩阵值层限制映射能够对齐、混合或反转相邻表示。在温和的正则性条件下,我们证明 SheafDEQ 存在唯一平衡点,并且从任意正初始状态出发,都能通过固定点迭代全局收敛到该平衡点。压缩性进一步保证了在有界通信陈旧性条件下的收敛。我们在需要反复进行非局部聚合的分布式推理任务上,以及在重连过程越来越偏向跨社区交互的社区检测任务上评估了 SheafDEQ。在 Sums、MNIST Terrain 和 Coordinates 上,以及在连接越来越具有异质性的社区检测任务上,SheafDEQ 均优于隐式基线模型。在没有平衡点保证的情况下,SheafDEQ 仍能与递归模型保持竞争力。持续迭代诊断表明,与有限时域控制不同,经过 100 次迭代后残差持续下降,测试准确率仍得以保持;延迟更新实验则表明,模型对有界通信陈旧性的敏感度较低。

查看原文(arXiv cs.LG)