通过 Hilbert 丛与胞腔层实现一致的几何深度学习
Consistent Geometric Deep Learning via Hilbert Bundles and Cellular Sheaves
精选理由
为时间序列、概率分布等无限维信号提供一致的几何深度学习框架,并证明离散实现可收敛且适用于不同采样。
AI 摘要
arXiv:2605.06395v3 公告类型:替换 摘要:现代深度学习架构日益需要处理复杂信号,这些信号本质上是无限维的,例如时间序列、概率分布或算子,并且定义在不规则域上。然而,针对这些情形的统一学习理论仍然缺失。为着手填补这一空白,我们提出了一种新颖的卷积学习框架,用于处理以流形为支撑域、可能为无限维的信号。具体而言,我们将与 Hilbert 丛关联的联络拉普拉斯算子用作卷积算子,并据此推导出滤波器和神经网络,将其称为 \textit{HilbNets}。我们通过两阶段采样过程,使 HilbNets 以及更一般的卷积运算能够实际实现。首先,我们证明,对流形进行采样会诱导出一个 Hilbert 胞腔层,即一种具有 Hilbert 特征空间和逐边耦合规则的广义图结构;并证明,随着采样密度增加,其层拉普拉斯算子依概率收敛于底层的联络拉普拉斯算子。值得注意的是,这一结果将 Belkin 与 Niyogi \cite{BELKIN20081289} 关于图拉普拉斯算子收敛于流形拉普拉斯算子的结论推广到了无限维丛的情形,而该结论是几何学习方法的理论基石。其次,我们将信号离散化,并证明离散化后可实现的 HilbNets 收敛于底层连续架构,且可在同一丛的不同采样之间迁移,从而为学习提供一致性保证。最后,我们在合成任务和真实世界任务上验证了该框架。总体而言,我们的结果将经典的基于拉普拉斯算子的框架推广到每个点上的信号都位于其各自 Hilbert 空间中的情形,从而拓展了整个几何学习领域的适用范围。