KVCMAS：面向多智能体系统共享上下文的高效 KV 缓存校正

arXiv:2609.34060v2 公告类型：替换 摘要：通过提示词进行专门化的多智能体系统，使多个智能体能够共享同一模型，同时承担互补角色以解决复杂任务。然而，智能体特定的前缀会改变为同一共享上下文生成的 KV 缓存，导致每个智能体都要对不断增长的上下文重复执行预填充，并构建独立缓存，带来高昂的计算和内存开销。选择性重计算虽然减少了这种冗余，但仍需执行大量模型计算；而现有的增量校正方法要么仅支持反复出现的上下文关系，要么需要为动态变化的上下文维护内存开销较大的在线校正状态。对于首次出现的共享上下文，这些方法还需要在智能体工作流之外构建参考缓存，并且在第一个智能体处进行的近似校正会影响传递给后续智能体的输出。我们提出 KVCMAS，这是一种在线 KV 缓存校正框架，使用紧凑的低秩状态表示跨智能体的缓存偏差，并沿智能体工作流无缝串联校正过程，无需额外的参考预填充。该设计既支持动态变化的共享上下文，又能保持第一个智能体缓存的精确性。在多种语言和视觉语言工作负载上，KVCMAS 的准确率达到或超过以往的 KV 缓存共享方法，同时在高并发推理服务下实现最低的首词元延迟（TTFT）。在受控的服务请求轨迹下，相较于不使用 KV 缓存共享的推理，它实现了 2.0 倍的 TTFT 加速；相较于一种既有的 KV 缓存校正方法，它将 GPU 峰值内存占用最多降至原来的 1/3.7。这些结果表明，KVCMAS 是一种准确且可扩展的 KV 缓存共享方法，适用于通过提示词进行专门化的多智能体推理服务。