Kronecker Product Attention：通过结构化分解实现内存高效的 KV 压缩

arXiv:2610.12657v1 公告类型：新提交 摘要：高效自回归生成日益受到键值（KV）缓存内存占用的限制，该占用随序列长度、批量大小和模型深度线性增长。现有方法，如 Multi-Query Attention（MQA）、Grouped-Query Attention（GQA）、Multi-Head Latent Attention（MLA）和 Tensor Product Attention（TPA），通过不同的权衡降低这一成本，但往往会牺牲表达能力、需要额外的位置编码机制，或施加限制性的低秩结构。我们提出 Kronecker Product Attention（KPA），将键和值的激活表示为若干 Kronecker 积之和，每个积由紧凑且依赖于词元的矩阵因子构成。KPA 是 TPA 的严格推广：秩一向量外积分解是 Kronecker 划分的一种退化情形，而非退化矩阵因子则能表示更丰富的块结构模式。我们进一步表明，与 Kronecker 表示相匹配的结构化旋转嵌入算子，仅旋转紧凑因子即可保留 RoPE 的相对位置性质，从而无需像 MLA 那样使用解耦的 RoPE 分支。实验结果表明，在相同训练条件下，KPA 在四种模型规模和九项下游基准测试中的表现达到或超过 TPA、MHA、MQA、GQA 和 MLA，同时实现高达 10 倍的 KV 缓存压缩。Kronecker 注意力头划分是一个可调超参数，使实践者能够在设计阶段权衡压缩率与准确率，而无需更改架构。