Causal Memory Policy:通过干预检索使记忆效用可识别
Causal Memory Policy: Making Memory Utility Identifiable by Intervening on Retrieval
精选理由
揭示记忆检索中的因果识别盲区,并提供可验证的记忆价值评估方法。
AI 摘要
记忆增强的大语言模型必须决定保留哪些记忆,而近期系统通过估计每条记忆对任务性能的影响来做出这一决定。然而,这些估计完全依赖于被检索到的记忆。当某条记忆从未被检索时,存储层面的干预会产生完全相同的结果,从而无法识别其效用。这是一种检索层面的正性违反,仅检查记忆操作的诊断方法无法发现这一问题。我们提出 Causal Memory Policy(CMP),这是一个通过直接干预检索本身来恢复识别性的因果框架:为通过已知倾向概率采样的记忆预留固定数量的上下文槽位。CMP 在平衡分配设计下,使用自归一化逆倾向加权来估计记忆效用。我们证明了记忆效用经由检索实现的因果因子分解、估计量的无偏性与精确方差,以及不可逆操作下的最优决策规则。实证结果表明,在 LongMemEval 和 LoCoMo 中,分别有 54% 和 67% 的必要记忆无法实现识别,而且这一问题在已部署的记忆系统中仍然存在。CMP 将必要记忆与非必要记忆之间的区分能力从 0.54 提升至 0.66 AUC。最后,我们表明,仅凭已识别的记忆效用不足以做出保留决策:在用于估计该效用的查询上,逐查询效用达到 0.78 AUC,但现有的任何聚合方法都无法让保留策略预测记忆在未见查询上的价值。代码发布于:https://anonymous.4open.science/r/cmp-release-D0C3/。