保留还是不保留：在解耦式 LLM 服务系统中学习 KV 缓存保留策略

arXiv:2610.28637v1 发布类型：新 摘要：解耦式 \textsc{LLM} 服务将预填充和解码分布在不同的节点池中，使网络结构位于 \textsc{KV} 缓存的计算与消费之间。这打破了经典缓存策略的一个关键假设：缓存未命中不再只产生本地重计算开销，还需要向解码节点传输数据。同样，将一个块纳入全局缓存也需要额外的数据传输，因此糟糕的保留决策会同时浪费内存和带宽。我们提出 \textbf{KVLearn}，一种面向解耦式服务的基于学习、成本感知的 \textsc{KV} 缓存保留框架。KVLearn 包括：(i) 轻量级的前缀复用预测器（\textsc{PRP}），利用结构和时间前缀特征估计复用概率，且无需修改模型权重；(ii) 成本感知保留评分（\textsc{CARS}），利用重计算、传输和存储成本将复用概率转换为保留/纳入决策；(iii) 自适应阈值控制器（\textsc{ATC}），根据观测到的命中率和内存压力在线调整纳入阈值。我们将 KVLearn 集成到全局解耦式服务拓扑中，并在文本和多模态工作负载上进行评估，其中包括由大型图像/视频生成的、具有异构复用模式的 \textsc{KV} 块。与 No-Cache 相比，KVLearn 将端到端首 token 时间最多降低 56%；与 LRU-Pool 相比最多降低 38%；与 Mooncake 风格的基线相比最多降低 33%；同时，与 LRU-Pool 相比，节点间 \textsc{KV} 传输量最多减少 53%。在 MM-Session 上，吞吐量与预言机的差距保持在 ${\sim}5%$ 以内。代码可在 https://github.com/FastLM/KVLearn 获取。