arXiv cs.LG精选72

Long-Range Ising Model 基准上的多项式图滤波器的谱极限

Spectral Limits of Polynomial Graph Filters on the Long-Range Ising Model Benchmark

· 2小时前

精选理由

揭示多项式图滤波器的性能瓶颈,并给出更有效的长程依赖建模方案。

AI 摘要

arXiv:2610.22713v1 发布类型:new 摘要:Long-Range Ising Model 基准通过构造保证长程依赖:每个标签等于节点自旋与经过幂律耦合卷积的自旋场之乘积,因此任何模型偏离目标的程度都是可测的。我们证明,当读出器的滤波器是邻接矩阵的多项式时——这是各向同性消息传递和谱图网络的线性核心——会存在一个无论提高多项式次数都无法降低的误差下限,因为目标沿着谱的某个水平集变化,而在该水平集上所有这类滤波器都是常数。精确计算得到的误差下限和各个次数下的最佳滤波器,能够将两个根据已发表架构改造的谱网络的结果预测到十分之一数量级以内。只有当滤波器分别对邻接矩阵归并在一起的偏移量进行加权,并且仍能解析整个晶格上的耦合时,才能突破这一误差下限。一个包含约五十个系数的步进滤波器同时满足这两个条件:在训练标签上拟合后,其测试误差仅为已发表最佳网络的1/52。膨胀卷积网络在256个节点时超过已发表的最佳结果,在1,024个节点时与之持平,并首次给出了三个更大规模下的域内结果;与此同时,采用标准模式数的 Fourier neural operator 随着晶格增大而进一步落后。在其标准预算下,该膨胀网络与根据标签拟合的更大步进滤波器相比,仍相差两个到四个数量级。该分析同样适用于该基准的第二种耦合。

查看原文(arXiv cs.LG)