arXiv cs.LG精选79

高阶模型是否因高阶理由而胜出?重新思考超图学习中的性能提升

Do Higher-Order Models Win for Higher-Order Reasons? Rethinking Performance Gains in Hypergraph Learning

· 7天前

精选理由

重新审视超图模型性能优势,识别高阶信息的真实价值并改进基线设计。

AI 摘要

arXiv:2610.07981v1 公告类型:新 摘要:高阶模型(例如超图神经网络)在超图学习基准测试中通常优于低阶基线模型,而其优势通常被归因于利用了高阶信息。然而,仅凭更好的性能并不能证明这一解释。因此,我们提出一个问题:高阶模型是否因高阶理由而胜出?为研究这一问题,我们引入了一个受控的性能归因框架,在保留下阶(即成对)信息的同时,对高阶信息进行扰动。在涵盖三项任务的25个常用超图学习基准测试中,我们经常观察到一个耐人寻味的现象:高阶模型最初优于低阶基线模型,但在扰动后仍保留了大部分优势。这表明,在不使用高阶信息的情况下,仍可以获得其所观察到的大部分优势。随后,我们研究了这些剩余差距可能存在的低阶解释。我们发现,对低阶基线模型进行简单扩展——例如采用更丰富的成对加权、进行更多步的成对特征传播以及使用归一化——能够缩小剩余的性能差距,这支持了对部分已观察优势的低阶解释。我们的分析呼吁超图学习领域重新思考性能归因,将性能提升与其解释区分开来,采用更强的低阶基线模型,并使用能够更有效检验高阶信息价值的合适基准。

查看原文(arXiv cs.LG)