arXiv cs.AI精选78

InjecMEM:针对 LLM Agent 记忆系统的记忆注入攻击

InjecMEM: Memory Injection Attack on LLM Agent Memory Systems

· 50天前

精选理由

帮助读者认识LLM代理记忆注入攻击及其防护需求

AI 摘要

记忆正成为已部署 LLM Agent 中的默认子系统,用于提供持久的个性化和连续性。这自然引出了一个问题:记忆系统是否会给 Agent 引入新的漏洞?因此,我们提出 InjecMEM,一种新颖的记忆注入攻击范式,它只需要一次交互(无需对记忆存储进行读取/编辑访问),即可将后续相关查询的响应引导至预先指定的输出。受记忆系统“先检索后生成”机制的启发,我们使用与检索器无关的锚点和对抗性命令来构造注入。锚点包含高召回率的主题线索,使下游检索能够持续将该记录与目标主题关联起来。命令是一段经过优化的短序列,能够在不确定的融合上下文、可变位置和长提示下保持有效,从而在被检索到后可靠地引导输出。我们通过基于梯度的坐标搜索来学习该命令,并在合成提示模板和插入位置上取平均,同时将其扩展到跨骨干模型的联合优化,以研究迁移性。在多个记忆系统和骨干模型上的评估表明,InjecMEM 能实现可靠的主题条件检索和目标生成,在记忆漂移下仍保持有效,并且不影响非目标查询。我们的结果强调了加固记忆系统的必要性,并提供了一个可复现的框架,用于研究 Agent 记忆。

查看原文(arXiv cs.AI)