架起 KV-Cache 量化与线性注意力之间的桥梁：从理论到预训练权重迁移

arXiv:2610.11214v1 公告类型：新 摘要：KV-cache 量化和线性注意力是应对 Transformer 存储与计算成本的两种代表性方法。KV-cache 量化将单个 KV 条目压缩为离散编码，但保留所有条目；而线性注意力则以递归方式聚合多个历史 KV 贡献，将其存入固定大小的连续状态中，但可能引入干扰。这一对比引出了一个问题：能否在单一机制中桥接逐 KV 压缩与多 KV 聚合，从而实现高效注意力？我们发现，RAM-Net 通过在离散地址空间上的软分配实现了这一桥梁。这些分配决定了与每个地址关联的连续槽状态的递归更新。在一种受限的 RAM-Net 构造下，我们证明，软地址分配能够将硬量化匹配扩展为可分离的读写重叠，在局部近似全注意力相似度的同时支持递归聚合。这些联系进一步支持通过一种基于软量化中间构造的新路径，实现从 Transformer 到 RAM-Net 的权重迁移。在 9 个参数量介于 0.3B 和 7B 之间的预训练 Transformer 模型上，仅使用每个模型 500M 个 token 的预算，RAM-Net 在 6 项常识与知识任务中，平均恢复了教师模型相对于随机猜测所获得准确率提升的 87.1%。