MemGuard：防止长期记忆增强型大型语言模型中的记忆污染

arXiv:2605.28009v2 公告类型：replace-cross 摘要：记忆增强型大型语言模型通过在交互过程中维护长期记忆，将推理能力扩展到固定上下文窗口之外。然而，现有记忆系统通常将稳定的用户事实、情景事件和行为规则压缩到共享空间中，使功能不同的记忆能够被检索并作为可互换的证据使用。我们将这种失效模式称为异质记忆污染，即特定上下文中的事件被过度概括为一般性断言，或语义相关但功能不兼容的记忆误导生成过程。为此，我们提出 MemGuard，一种类型感知的记忆框架，在记忆构建和检索过程中保持记忆的功能边界。该框架在写入时为每条记忆分配明确的功能角色，维护类型隔离记忆之间的关系，并仅从必要的记忆类型中选择性地组合证据，从而减少无关或功能不兼容证据造成的污染。在幻觉和长程对话基准测试中，MemGuard 将记忆可靠性提升了最高 28.27%，同时相比此前方法少检索最多 5.8 倍的记忆标记。这些结果表明，可靠的长期推理依赖于对异质记忆进行有原则的组织和选择性使用。