扩展至多个数据源的核奇异值分解

arXiv:2610.03216v1 发布类型：new 摘要：核奇异值分解（KSVD）学习关于非对称核矩阵的一对奇异向量，该矩阵可由两个数据源诱导得到，例如自注意力中的查询和键，或给定矩阵的行和列。在本文中，我们将 KSVD 扩展到多个数据源，提出 eKSVD，用于在非对称核上进行联合非线性特征学习。在原始问题表述中，与每个数据源相关联的投影被联合学习，以捕获最大信息，同时纳入成对耦合。结合拉格朗日函数及其 Karush-Kuhn-Tucker（KKT）条件，偶问题中的优化过程导出了 KSVD 的 Lanczos 分解定理中移位特征值问题的推广形式。此外，我们还构建了一个基于协方差的框架，并结合神经网络（NNs）实现显式特征映射，从而补充了基于核的解释与优化。数值实验验证了我们的 eKSVD 相较于基于 Mercer 核的方法在处理多个数据源方面的有效性；同时，采用 NNs 的创新方法展现了核方法的高度灵活性。