当花哨的驱逐策略失效时：重新思考 LLM 前缀复用的缓存替换

arXiv:2609.28870v2 公告类型：替换交叉版本 摘要：长时间运行的 LLM 应用会反复发送不断增长的上下文，使前缀缓存对于降低预填充成本至关重要。然而，在智能体工作负载下，前缀缓存的行为仍未得到充分理解。我们研究了来自两家公司的生产环境跟踪数据，并在 HBM 受限和大型内存池两种场景下评估了 14 种驱逐算法。尽管与 Belady 相比仍存在较大差距，但为传统缓存设计的复杂策略相比 LRU 几乎没有带来收益。其原因具有结构性：前缀复用主要受活跃会话的规律性节奏支配，因此近期性具有异常强的预测能力。尽管如此，前缀缓存仍带来了新的挑战，包括会话占用空间呈重尾分布，以及随着序列长度增加、注意力计算量增大而导致的缺失成本高度可变。我们提出了计算节省比率和两个离线预言机，用于量化这些影响。结果表明，有效的前缀缓存管理应以近期性为基础，同时有选择地加入针对仅命中一次的前缀的快速降级、面向计算开销的昂贵缺失部分驱逐，以及依赖容量的驱逐粒度。我们将发布这些跟踪数据和模拟器，以支持未来研究。