arXiv cs.AI精选81

SPILLWAY:将目标准入与内容净化分离,防御针对工具使用型智能体的提示注入

SPILLWAY: Separating Target Admission from Sanitization to Defend Tool-Using Agents against Prompt Injection

· 1天前

精选理由

以确定性目标校验和文本净化阻断提示注入重定向操作,在提升安全性的同时保留智能体效用。

AI 摘要

工具使用型智能体会操作电子邮件、文件和支付,因此,隐藏在网页或共享文档中的指令可能使智能体向攻击者发送数据或转账。许多运行时防御机制让语言模型决定是否放行某项操作,因此,这一决策依赖于可能读到攻击者文本的模型,并且每一步都会增加模型调用。基于来源追踪的防御机制不让模型参与最终检查,但仍需要模型先为每个任务制定计划或确定路由。实际上,操作的目标可以从工具的类型化返回值中读取:电子邮件的发件人或支付账户通过类型化字段返回,而注入指令则以自由文本形式出现。SPILLWAY 将这一观察转化为一道确定性安全底线,无需为每个任务单独制定计划。对于出现在工具输出中、但未出现在用户任务中的每个目标值,只要它由只读工具通过类型化字段返回,或符合固定的委托规则,检查机制就会放行该调用。确定性净化器会在模型读取内容之前,移除其固定规则所匹配的类似指令的区域,并保留被移除的文本片段作为证据;本地判定器可以恢复被拒绝的调用,但绝不会恢复目标位于已移除文本中的调用。在三个骨干模型上的评估,以及其中一个模型上涵盖七个任务套件的评估中,采用 SPILLWAY 时,没有任何标准模板化注入能将操作重定向至攻击者的目标;在我们针对该攻击测试的防御机制中,SPILLWAY 的平均效用和综合评分(NRP、ERS)均达到观测到的最高值。伪造聊天模板攻击的原始成功率也为零,而在一个已发布的强化学习攻击器下,范围内攻击的平均成功率为 0.007。SPILLWAY 无需因防御而重新运行骨干模型,且几乎不增加模型调用,即可实现这一安全底线。随着个人 AI 智能体开始操作用户的电子邮件、文件和支付,SPILLWAY 为其操作去向提供了一道可审计的拒绝底线,同时保留其效用,并在不同骨干模型上均有效。

查看原文(arXiv cs.AI)