这是我的偏好吗？通过社交互动对智能体记忆发起的角色归属攻击

基于 LLM 的智能体如今会在社交平台上分享经验，并记忆新的偏好以提升性能。然而，现有记忆系统在角色到主体的归属判定方面存在漏洞，攻击者可以利用这一漏洞。我们发现了角色归属误判（Role Grounding Misattribution）：攻击者设计的互动会导致受害智能体错误地将攻击者的偏好记录为受害者用户的偏好。具体而言，我们首次对角色归属攻击（Role Grounding Attack，RGA）进行了形式化定义。这是一种利用嵌套对话结构发起攻击的攻击模型。在记忆形成阶段，攻击者发布一篇分享经验的帖子，其中引用了攻击者智能体与其用户之间的对话，并明确标识了帖子的发布者。内部对话表达了攻击者智能体用户的偏好。当受害智能体从这一嵌套结构中记忆偏好时，其记忆会丢失上下文绑定，转而将攻击者的偏好归属给受害者用户。在记忆检索阶段，这一错误归属的偏好会持续存在，并在受害智能体遇到相关场景时影响其决策。我们将 RGA 实例化为工具选择操纵和隐私泄露两种攻击。工具选择操纵会使工具调用偏好被错误归属给受害者用户，从而引导受害者使用攻击者控制的工具。隐私泄露则在此基础上，进一步将工具调用偏好和任务要求偏好都错误归属给受害者用户。受害者选择攻击者的工具后，会为满足任务要求而将敏感信息包含在工具参数中。我们在五种主流记忆系统和六种语言模型上评估了 RGA。工具操纵和隐私泄露均取得了较高的攻击成功率。这些结果表明，有必要强化角色归属机制。