arXiv cs.AI精选81

PACE:面向工具使用型 LLM 智能体的溯源感知能力强制执行

PACE: Provenance-Aware Capability Enforcement for Tool-Using LLM Agents

· 12天前

精选理由

以溯源和效果验证约束工具调用,帮助LLM智能体降低提示注入与越权风险。

AI 摘要

使用工具的大语言模型(LLM)智能体会将生成的文本转化为现实中的副作用,因此,被投毒的工具元数据、检索页面、记忆和可复用技能都可能引导下一次调用。在接纳某个工件之前对其进行审查并不能解决这一问题。安全变体和泄漏变体可能产生相同的接纳证据,而一个健全的门控机制随后便无法对任一变体放宽该位置的限制。我们对这一条件进行了精确定义,从而确定了部署仍可采取行动的最后一道边界。我们提出溯源感知能力强制执行(PACE),在每次工具调用即将执行之前对其进行调解。路径约束为所表示的影响路径提出一个可执行的割,而能力验证和效果验证则将模式定义的效果与依据经认证请求编译出的权限进行核对。我们区分了经认证的执行契约与经评估的配置;后者可以在拟议阻断后恢复一个已获授权的调用,或应用一项已声明的修复。约束要求最终动作保留经认证的割。在使用三个目标模型系列的八个可执行智能体安全基准测试中,经评估的配置在79个符合条件的攻击列中的62列取得严格最低的攻击成功率,并在14列并列最低;在完整基准测试中,相对于未防护智能体,原生效用最多损失三个百分点。对1167个成对案例进行的完整消融实验表明,大多数安全收益来自效果验证,而拒绝控制的收益则来自边界适配。针对该防御进行的缩小规模自适应搜索,在30个越权目标中成功数为0。

查看原文(arXiv cs.AI)