Gandalf：闪存不应消亡！延长 LLM 推理服务中用于 KV 缓存卸载的闪存存储寿命

arXiv:2610.30791v1 公告类型：新论文 摘要：KV 缓存降低了大语言模型（LLM）的推理服务成本，但不断增长的 KV 缓存占用空间日益超出 GPU 和主机内存的容量。因此，人们使用具有高 I/O 带宽的 SSD 来扩展 KV 缓存的存储容量。然而，在多轮对话和 LLM 智能体等生产环境中的 LLM 工作负载下，KV 缓存的总写入量远超 SSD 容量，使 SSD 的寿命从数年缩短至数月。为了延长 SSD 寿命，一个直观的解决方案是根据历史访问模式控制 KV 缓存的写入，从而减少写入量。然而，这会显著降低 KV 缓存命中率（并增加 LLM 推理服务成本），因为不同注意力类型产生的 KV 缓存可能具有相同的历史访问模式，但未来的访问模式却不同。我们的洞见是，要在不损害 KV 缓存命中率的前提下减少 KV 缓存写入，不仅需要考虑访问模式，还需要考虑 KV 缓存的注意力类型等应用层信息。基于这一观察，我们提出了 Gandalf，这是首个具备 SSD 寿命感知能力的 SSD KV 缓存卸载系统。相比其他注意力类型生成的缓存，Gandalf 优先将全注意力机制生成的 KV 缓存写入 SSD，从而在不牺牲缓存命中率的情况下显著延长 SSD 寿命。评估结果表明，在多种工作负载轨迹和广泛的硬件容量配置下，Gandalf 将 SSD 寿命平均延长至原来的 7.3 倍，同时对缓存命中率的影响微乎其微。Gandalf 的设计还可扩展至其他基于闪存的存储，例如 High Bandwidth Flash（HBF）。