arXiv cs.AI精选79

请求顺序很重要:滚动式代理中选择性 KV-cache 重用对缓存历史的敏感性

Request Order Matters: Cache-History Sensitivity in Selective KV-Cache Reuse for Rolling Agents

· 9天前

精选理由

揭示滚动智能体缓存复用受请求顺序影响,并提出按文档重算提升稳定性与效率。

AI 摘要

长期运行的代理会在保留大部分文档窗口的同时反复调用 LLM,淘汰旧文档并追加新文档。这些滚动更新破坏了精确前缀缓存,从而推动了结合选择性重计算的非前缀 KV-cache 重用。我们表明,结合选择性重计算的持久化 KV-cache 重用可能依赖于历史:在我们的滚动式代理工作负载中,即使提示保持不变,之前处理过的请求不同,也可能产生不同的答案。在匹配的 5% 重计算预算下,按文档对齐的重计算将不同请求顺序下的答案差异率从 CacheBlend 的 token top-$k$ 策略下的 69.0% 降至 26.1%。当每个提示都在不同的前序请求序列之后进行评估时,与 token top-$k$ 相比,按文档对齐的重计算使结果相对于完整预填充的保真度提高了 34.5–52.5 个百分点,同时两种策略都实现了约 5.7 倍的中位数 TTFT 加速。我们的消融研究表明,在我们的滚动式代理工作负载中,连续性是与稳健的选择性重计算最相关的主要因素。

查看原文(arXiv cs.AI)