DCKV：混合语言模型中提示词 KV 缓存的学习式变换编码
DCKV: Learned Transform Coding of the Prompt KV Cache in Hybrid Language Models
精选理由
新颖度 90 / 深度 82，来自 arXiv cs.AI。
AI 摘要
混合语言模型仅在少数几个完整注意力层中保留键值（KV）缓存，但该缓存仍然是提示词状态中唯一会随提示词增长、且必须存储或迁移以便复用的部分。我们提出了 DCKV，这是一种用于 KV 缓存的可微编解码器，也是首个经过端到端训练的 KV 缓存编解码器。其变换器、量化器和熵模型均以提示词词元以及已解码的相邻位置为条件，并针对熵模型分配的编码长度和模型输出的变化进行联合优化，同时以冻结的语言模型作为评估对象。在 Qwen3.5-2B 上，DCKV 在三个长上下文基准测试中，以至多 1.8 个百分点的损失，将每个压缩词元的存储空间降至 bf16 的 1/55 以下；以至多 3.6 个百分点的损失，则可降至 1/100 以下。