典型相关神经网络

arXiv:2611.07212v1 公告类型：新论文 摘要：网格或图等关系归纳偏置使神经网络能够以更少的可训练参数获得更好的泛化能力，但要求事先已知数据结构。当没有可用结构时，协方差矩阵提供了一种有理论依据的替代方案，而 coVariance Neural Networks (VNNs) 已表明，使用协方差矩阵构建的模型以主成分分析为理论基础，对有限样本估计误差具有稳定性，且参数效率高。然而，这一框架仅适用于单视图数据，而许多应用会通过多个视图观测同一现象，每个视图都有自身的视图内协方差，以及连接不同视图的跨视图协方差。为以有理论依据的方式将这些矩阵作为归纳偏置融入模型，我们提出了 CAnonical correlation NEural networks (CANEs)，这类架构将视图内协方差和跨视图协方差用作不同的关系偏置，以解决下游任务。通过谱分析，CANEs 与典型相关分析（CCA）建立了类比关系；后者是一种将双视图数据投影到相关子空间的经典技术。然而，CCA 的目标是计算视图间共享的表示，而 CANEs 则通过训练直接解决下游任务。我们给出了有限样本协方差扰动下其输出误差的上界，并表明该上界取决于所学习滤波器的可控 Lipschitz 常数，而非决定 CCA 稳定性的奇异值间隙，从而保证了更好的鲁棒性。在来自脑成像和运动感知领域的七个数据集上的实验表明，CANEs 的表现与单视图、双视图以及基于 CCA 的基线方法相当或更优，且通常使用更少的参数；当使用更少样本重新估计协方差时，它们仍能保持性能。