arXiv cs.AI精选76

遗忘并非总是坏事:面向遭受投毒的 LLM 智能体的神经科学启发式记忆修复机制

Forgetting is Not Always Bad: A Neuro-Inspired Memory Repair Mechanism for Poisoned LLM Agents

· 4天前

精选理由

提出受神经记忆机制启发的修复方法,可高效遗忘被投毒记忆,同时保留智能体的正常能力。

AI 摘要

大语言模型(LLM)智能体极易受到记忆投毒攻击。现有防御方法主要依赖外部模块进行静态记忆隔离或持续在线审计,导致记忆利用效率低、计算开销高。为解决这些局限,受神经科学机制的启发——弱再激活可使记忆变得不稳定,并在缺乏强化的情况下诱导其衰减——我们提出了一种智能体内生、无需训练的记忆修复框架 DREAM(Dynamic Reactivation for Engram Attenuation in Memory),实现对被投毒记忆的选择性功能遗忘。具体而言,DREAM 采用三阶段流程:通过扰动诱导的隐式再激活揭示恶意记忆的结构脆弱性;基于多维激活模式进行自适应异常诊断,以检测拓扑异常;利用动态记忆修复模块选择性地抑制有害记忆,同时强化良性记忆。在多种攻击者和真实世界任务上的广泛实验表明,DREAM 在应对后门投毒时将攻击成功率降低了 95% 以上,同时保持了较强的良性任务效用。DREAM 在抵御注入攻击方面也展现出具有竞争力的鲁棒性。在运行时间和 token 消耗方面,与 A-MemGuard 相比,DREAM 最高实现了 2.13 倍加速,并将 token 消耗降低了 37.7%。此外,DREAM 在遭受投毒的多智能体系统上也实现了 92.96% 的任务成功率。

查看原文(arXiv cs.AI)