CompilerKV：通过离线经验编译实现风险自适应 KV 压缩

arXiv:2602.08686v4 公告类型：替换 摘要：仅在预填充阶段进行的 KV 压缩会在预填充结束时固定一个词元子集，并基于该子集进行解码，不再执行后续驱逐。因此，保留决策是不可逆的，但现有方法却从单个含噪提示中在线估计该决策所依赖的校正信号，即各注意力头的可靠性和提示级压缩敏感性。我们认为，这采用了错误的统计单位：这些信号在不同提示之间表现出的规律性，远强于单个提示内的信噪比所能提供的信息。我们提出 \textsc{CompilerKV}，这是一种 KV 保留策略，其校正表通过校准语料库离线编译生成，使标准观测窗口扫描后的在线校正简化为 $O(1)$ 查表操作加上预算限幅。我们发现，编译得到的保留表可充当可迁移的架构先验：在四种骨干模型上，排名可跨互不重叠的语料库迁移（平均 Spearman $\bar\rho{=}0.90$），而直接在模型之间迁移表格，平均仅损失 $0.4$--$0.8$ 个 LongBench 分数点。在 512 词元预算下，\textsc{CompilerKV} 在全部四种骨干模型上均达到压缩方法中的最先进水平，相比最强的仅预填充压缩基线平均提升 $+1.67$ 分（任务级自助法 95\% 置信区间为 $[+1.08,+2.37]$）。高压力条件进一步扩大了差距：在固定 $512/32k$ 缓存比例下，\textsc{CompilerKV} 在最高 128k 长度的 RULER 测试中始终是最强的压缩方法（$\sim\!73$，相比之下 FullKV 为 $\sim\!79$，SnapKV 为 $\sim\!38$）；在 32k NIAH 上，其得分达到 $0.89$，而 SnapKV 为 $0.42$；在 32k 输入下，仅保留预填充 KV 的 $1.56\%$，仍可支持批大小为 16 的推理服务，而 FullKV 此时已发生显存溢出。