D-SLR：不相交行稀疏加低秩分解

arXiv:2610.10636v1 发布类型：new 摘要：用于重构的矩阵压缩仍然默认采用截断 SVD，以单一低秩结构近似数据。通过加入一个重叠的行稀疏成分来进一步减小残差是常见做法，但解决这一联合问题的方法通常需要迭代求解器，并且需要调节正则化参数。我们提出不相交行稀疏加低秩（D-SLR）分解，这是一种截断 SVD 的闭式即插即用替代方案，能够改进截断 SVD 或与其完全匹配。D-SLR 限制每一行只能被原样存储或由低秩拟合近似，绝不同时采用这两种方式。在平方误差下，这一限制不会带来任何代价：对于每一个非平凡的秩和存储行数（形状），联合最优解都可以通过不相交的方式实现，并且参数更少。当存储行数为零时，D-SLR 退化为截断 SVD，因此在相同成本下其效果不会更差。该算法会评估整个误差—参数权衡曲线，之后根据给定的误差目标或参数数量，或依据某种选择规则来选取解。构建网格并求得解总共只需进行三次 SVD，无需调参或正则化。我们推导出一个不依赖任何假设的事后误差下界，适用于每一种形状，使每个解都能获得一个可计算的证书，用于衡量选择其他秩和存储行数可能带来的潜在收益。在合成数据和真实数据（LLM 嵌入表、网络流量、高光谱图像）上的实验验证了这些收益，并量化了该证书。