代理安全基准中的威胁保持表示敏感性

基于 LLM 的代理的安全基准通常将攻击成功率（ASR）作为衡量模型鲁棒性的指标，并利用这些分数比较不同模型和防御机制，默认这些分数能够描述代理的安全性。本文探讨基准的表示方式是否也会影响其测量结果。为衡量基准表示方式的影响，我们引入威胁保持表示敏感性（TPRS），用于衡量在保持底层任务、有害操作、安全策略、真实标签、环境和评估标准不变的情况下，仅改变代理可见表示时 ASR 的变化程度。在 Agent Security Bench (ASB) 上，将与威胁相关的工具名称替换为威胁中性的名称后，GPT-5-mini 的已提交攻击成功率提高了 11.67 个百分点，Claude Haiku 4.5 提高了 13.21 个百分点。在 MCPTox 上，将原本中性的工具名称替换为明确与威胁相关的名称后，GPT-5-mini 的 ASR 降低了 11.00 个百分点，Claude Haiku 4.5 降低了 4.11 个百分点。在 AgentDojo 上，仅向与攻击相关的工具添加与威胁相关的措辞，就使 GPT-4o-mini 的 ASR 变化了 0.50 个百分点；然而，在需要使用该工具的任务中，无害效用下降了 5.36 个百分点。我们在 MCPTox 上进行了一项实验，发现一个在 token 数量、长度和大小写方面均相匹配的威胁中性名称，可以重现由明确威胁相关名称造成的大部分变化（在 GPT-5-mini 上为 11.00 个百分点中的 8.54 个百分点）。结果表明，在某一种表示方式下测得的安全分数，可能无法推广到同一安全问题的其他威胁保持表示方式。因此，鲁棒性声明应由在一组受控的威胁保持表示方式上的表现加以支持，而不应依赖单一的、受表示方式影响的分数。