所谓足够接近，实际上相去甚远：KV 缓存中的保真度—可消费性解耦

arXiv:2610.22016v1 发布类型：new 摘要：多智能体 LLM 系统通过文本进行通信，这种方式既有损又浪费：发送方丢弃了自己已经完成的阅读结果。越来越多的研究转而传输 KV 缓存，因为它是承载这种阅读结果的天然载体。我们研究了这一思路最具吸引力的一种形式：两个模型都保持冻结状态，不进行任何训练，直接用发送方的缓存替代读者的缓存。这种方法行不通，而其障碍在于读者。冻结的 transformer 只能读取接近其自身本来会写入的缓存；我们将这一范围称为其可容忍集合。我们表明，与该缓存的几何相似性并不能预测读者是否能够使用给定缓存，而且这种失败并非渐进式的，因此，更高保真的替代缓存并不像表面上看起来那样能够解决问题。我们用竞争性注意力解释这一现象。在实验中，我们针对两项测得的基准测试了八种不同的替代方法：无信息缓存基线，以及读者自行阅读该段文本所得的准确率。所有方法都停留在前者的基线水平。这一结果将大量彼此独立的负面结果归结为一个统一结论，并给出了推翻该结论所需的明确条件。另一种设计确实有效：如果读者保留自己的缓存，并将发送方的缓存作为额外上下文进行注意力计算，只调整自身的查询，那么它不仅超过了自身基线，而且在汇集八个发送方的缓存后，也能超过该基线；相比之下，在同一缓存并集上进行无方向注意力的方式反而低于基线。我们将其视为在一个探针任务上的刻画，而非排行榜式的结论。我们的核心贡献是重新指明方向：追求保真的替代缓存是错误的目标；将缓存添加到读者已有的信息之上，才是更有希望的方向。