第零步攻击：可观测性建立之前的智能体安全

现有针对编程智能体的攻击与防御，都在内容进入模型上下文后才发挥作用：注入的文本诱导模型，而防护机制检查模型读取的内容。然而，要判断处理未知的归档文件、网络响应或图像是否安全，智能体往往必须先对其进行处理，而这一步可能在任何内容到达模型之前就造成危害。我们将这次初始处理称为“第零步”，将其造成危害的攻击称为“第零步攻击”。在涵盖七种运行框架和六个模型的实验中，每个智能体仅收到一个指向特制输入的路径或 URL，同时配有一个呈现相同可见字段的无害对照输入。在第零步，大多数智能体就已处于不安全状态：42 个框架—模型组合中，有 32 个超出了 4 MiB 的磁盘预算，其中 26 个在模型看到任何归档成员之前就已超限；六个模型中有四个在每一轮都出现了超限（84/84），因此损害发生在任何模型侧防御生效之前。所有无害对照输入均未超出预算，说明仅攻击者提供的字节就足以造成危害。对于网络和图像输入，风险转移到了智能体写入的内容上：智能体使用输入所声明的名称保存主体内容，让输入决定写入什么，而一旦相关提示线索被移除，其检查也随之弱化。无需模型参与的测试将危害根源追溯至处理原语，因此我们在这一层实施防御：通过一道统计每次调用所产生字节数的关卡，所有经由该关卡的提取操作都被控制在预算内，同时智能体完成了 28 项任务中的 25 项。供应商应将此类关卡与安全对齐训练相结合，教会智能体在处理输入之前先对其进行检查。