arXiv cs.AI精选79

效用遭受攻击:智能体记忆投毒以及内容筛查和来源排序的局限

Utility Under Attack: Agent Memory Poisoning and the Limits of Content Screening and Provenance Ranking

· 53天前

精选理由

揭示记忆投毒风险及现有筛选与溯源防御的边界

AI 摘要

持久记忆会让虚假信息变得持久:一旦某条虚假陈述被存储,它就可能在未来与之匹配的会话中被检索出来。我们使用一次性生成的、措辞直白的虚假断言来衡量这种失效模式的代价,不进行指令、触发器或检索器优化。对 LongMemEval 语料库中 1.2% 的内容进行投毒,会使准确率从 0.850 降至 0.300。一个四阶段的写入时筛查流水线在间接提示注入上达到 0.832 的召回率,同时会将 1.5% 含触发词的良性文本标记出来,但它拒绝了 360 条被投毒记忆中的 0 条。我们认为,这暴露了仅基于内容的筛查边界:区分虚假断言和真实断言通常需要文本本身之外的外部依据。 随后,我们评估了按来源加权的检索。已发布的权重在统计上与没有防御无法区分(p=0.80),而更强的权重只有通过排除不受信任内容才能恢复效用。在一个混合来源语料库中,如果不受信任内容大多是良性的,准确率会从 0.3167 上升到 0.7000;当承载答案的证据本身来自不受信任来源时,证据召回率会降至零,准确率降至 0.0417。在测得的相似度条件下,加性来源项不存在可用的设置:足以抵御查询形态投毒的权重,也足以压制合法的不受信任证据。因此,我们主张在检索阶段采用有界占用约束,而不是加性来源惩罚,并发布相关测试框架、语料库和汇总运行报告。

查看原文(arXiv cs.AI)