多智能体 LLM 推理中的持久记忆：成本、收益与何时能够辨明

arXiv:2610.07782v1 公告类型：交叉收录 摘要：将长上下文推理分解到相互协作的智能体上，可以限制每次调用的活跃 KV 缓存，而不必限制证据总量；当 KV 缓存内存成为瓶颈时，这一点尤为重要。许多此类系统还会添加一个用于存储和召回推理轨迹的持久层，通常通过报告准确率提升的消融实验来验证其作用。我们在同一个三层智能体架构上测量了这两方面的效果。分解确实有效：每个查询的峰值 KV 工作集为 14.3 MiB，而单次推理和检索增强基线分别为 35.5 MiB 和 35.3 MiB。持久层则不然：在八对受控数据集上，每组样本量 n=100 时，它使峰值缓存增加了 0.368 MiB [+0.167, +0.590]，却未带来可检测的准确率变化（+0.015，95% 置信区间 [-0.011, +0.046]）。我们认为，这一零效应源于结构性原因：单问题基准为每个样本提供各自的证据并独立评分，而实验的正确性要求在不同条件之间重置已存储的轨迹，因此召回机制没有任何有信息价值的内容可供检索。得出这一结论经历了四项测量修正——前三项所纠正的问题夸大了表面收益，第四项所纠正的问题则让这一量级的效应看起来能够被分辨出来——而这些问题在结果表中均不可见。我们给出了智能体记忆消融实验必须满足的条件，以及无需了解具体缺陷即可采用的检测流程。