高效注意力的线性代数基础：SVD 压缩下秩坍缩的阶段反转

线性代数为现代人工智能在神经网络中编码、压缩和传播信息提供了概念框架，包括矩阵秩、奇异值分解（SVD）和特征分解。本文整合了十四项独立的同行评审研究，分析这些技术在基于 Transformer 的基础模型研究中的应用，重点关注三个方面：自注意力矩阵输出秩的推导与性质、有意利用这一现象的压缩方法，以及低秩键值（KV）缓存投影及其与线性注意力和状态空间结构化模型之间的半可分矩阵对偶关系。我们开展这项工作的动机，源于观察到该领域中存在一个尚未解决的问题：上述压缩方法与网络自然秩坍缩之间的相互作用。本文报告了一项原创发现：对注意力投影使用 SVD 压缩，实际上会对网络的秩坍缩产生相反的影响——在初始化时，它会强烈抑制秩坍缩；而在预训练模型上（GPT-2 124M、GPT-2 Medium 355M 和 Pythia-160M），它却会加速秩坍缩，同时出现对象混叠伪影的风险极低（已在所有压缩比下得到验证），且这一现象在四种秩估计方法中均保持一致。在这两种情形下，对该效应进行的受控因果分解表明，这种行为的原因，与其说在于 SVD 所实现的算子范数降低，不如说在于 SVD 压缩矩阵时所选择的子空间；前者约能解释初始化时该效应的 76%，以及预训练权重上该效应的 83%。这一结果细化了校准感知压缩的观点，并解释了其为何优于朴素的 SVD 截断。