隐藏在明处：使用 DECOMPBENCH 对抗分解攻击评测智能体安全性

arXiv:2606.13994v2 公告类型：replace-cross 摘要：基于 LLM 的智能体正变得越来越强大，并得到广泛部署，从而不断增加其在现实世界中被对抗性滥用的动机。一项关键的新兴威胁是分解攻击 \cite{glukhov2024breach, jones2024adversaries}：在这类攻击中，有害任务被拆分为更简单、看似无害的子任务；这些子任务分别执行时能够规避安全机制，但累积起来却实现了恶意意图。尽管近期的基准测试会在多轮交互和多工具使用场景下评估智能体安全性，但它们并未明确捕捉这种分解式滥用，也可能无法体现真实的对抗性执行流程。为此，我们引入 DeCompBench，这是一个专门用于评估分解攻击下智能体安全性的基准。DeCompBench 遵循“设计即分解”原则，采用图形化框架构建，使有害任务能够被分解为单独看来无害且可执行的子任务，并形成符合现实的工作流。我们使用定制分解器开展的实验表明，当前最先进的智能体在面对整体式有害任务时具有较高的拒答率，但在其分解变体上的拒答率显著降低，并且往往会无意中完成对抗性目标。这些发现凸显了针对分解攻击开展安全评测并制定相应防御措施的必要性。我们的数据集已公开发布，可在 https://huggingface.co/datasets/decompositionbench/DeCompBench 获取。