安全性不能组合:面向自主 LLM 代理的非衰减循环状态
Safety Does Not Compose: Non-Decaying Loop State for Autonomous LLM Agents
精选理由
揭示循环式LLM代理的安全漏洞,并提出跨迭代持久防护框架。
AI 摘要
大型语言模型代理正越来越多地作为自主循环部署。从一个人类目标出发,这类系统会反复发现工作、制定计划、执行工具调用、验证结果,并在许多无人值守的迭代中持续保存状态。然而,当前广泛使用的代理防护措施都是针对单条轨迹定义的,其安全状态会在下一条轨迹开始时重新初始化。我们表明,这反映的是组合性失败,而不是实现细节。我们的核心结果是一个分离结论:面对一种证据分散在多次迭代中的攻击,任何轨迹范围监控器的真正率都等于其假阳性率,无论其表达能力多强,因为它所需要的证据从未出现在它所见的窗口中;而保留跨迭代状态的监控器则能将二者完美区分。我们进一步表明,显而易见的修补方案——携带一个几何衰减的风险评分——仍然不够,因为一个有耐心的对手必须等待的冷却期是一个不随视界 $N$ 增长的常数。随后我们提出 LoopHarness,它在循环层面恢复了持久的、非衰减的安全状态。在经由中介的提交和仲裁器检测下限 $δ_M$ 条件下,它将未经授权且不可逆操作的期望数量上界为 $B+m-1+m/δ_M$,这是一个关于 $N$ 的常数,其中 $B+m-1$ 这一项由无模型规则决定,因此即使在验证器完全串通的情况下也能保留。我们给出了一套完整的评测协议,涵盖原生 Agent-SafetyBench 任务上的成对干净与受攻击回合、一个其决定性证据只存在于跨迭代中的外部状态攻击集合、逐模块消融,以及自适应白盒红队测试。