当工具输出变成命令:在工具增强型 LLM 智能体中分离动作诱导与运行时授权
When Tool Outputs Become Commands: Separating Action Induction from Runtime Authorization in Tool-Augmented LLM Agents
精选理由
帮助读者理解并防范工具输出诱导越权执行风险
AI 摘要
工具增强型 LLM 智能体必须依赖不可信的运行时观察来完成开放式任务;然而,当工具输出不再只是提供数据,而是开始指定具体动作时,它们实际上就变成了能够驱动超出用户意图的现实世界副作用的“命令”。我们认为,这一风险源于将动作诱导与执行授权混为一谈。为解决这一区别,我们提出 SARA,它将动作诱导和执行授权视为不同的运行时角色,并将动作溯源与执行权限分离。在 Observation 侧,处于上下文隔离中的 Action Probe 会暴露动作诱导语义,并在跨步骤过程中持续记录动作来源溯源,作为审查信号;在执行侧,实际的工具调用仅依据用户目标以及来自已授权成功执行的审计证据来授权,同时满足目标、执行链和参数级别的支撑。为在多步执行中保持这种分离,SARA 采用 No-History-Promotion,防止历史复现将动作来源洗白为执行权限。在 AgentDojo 和 AgentDyn 上,SARA 在四种主要评估设置下将 ASR 限制在不超过 0.63%,同时保持具有竞争力的任务效用,并在其他 Agent 骨干上持续降低 ASR。