MemTrapBench:评测 LLM 记忆使用中的认知陷阱
MemTrapBench: Benchmarking Cognitive Traps in LLM Memory Use
精选理由
揭示LLM记忆陷阱,助优化长程推理与记忆策略
AI 摘要
记忆已成为大型语言模型的关键组成部分,使其能够保留信息并从长期交互中学习。然而,现有的记忆基准主要评估信息是否被正确提取、存储和检索,而在很大程度上忽视了检索到的记忆如何重塑模型推理并影响当前任务表现。我们识别出由记忆诱发的认知陷阱:即使是忠实记录且语义相关的记忆,也可能扭曲模型推理或信念,并降低当前任务表现。为系统评估这些失效模式,我们提出 MemTrapBench,涵盖两种形式的认知陷阱:推理固着和信念扭曲。在两个模型家族和五种代表性记忆框架上的实验表明,MemTrapBench 具有挑战性:所有评估的记忆策略表现均不如无记忆设置,即便是最强方法也出现超过 10% 的下降。为缓解这些认知陷阱,我们提出 AdaptiveMem,这是一种简单而有效的推理时方法,用于指示 LLM 避免记忆陷阱。AdaptiveMem 在 MemTrapBench 上缓解了认知陷阱,同时在多种记忆框架下的标准记忆基准上保持或提升了性能。