Agent-Security 基准测试中的威胁保持表示敏感性

arXiv:2610.03585v1 公告类型：cross 摘要：针对基于 LLM 的智能体的安全基准测试通常将攻击成功率（ASR）作为衡量模型鲁棒性的指标，并使用这些分数比较不同模型和防御机制，假设这些分数能够描述智能体的安全性。在本文中，我们探究基准测试的表示方式是否也会影响其测量结果。为衡量基准表示方式的影响，我们引入威胁保持表示敏感性（TPRS），用于测量在保持底层任务、有害行为、安全策略、真实标签、环境和评估标准不变的情况下，仅改变智能体可见的表示方式时，ASR 的变化程度。在 Agent Security Bench（ASB）上，将与威胁相关的工具名称替换为与威胁中性的名称后，GPT-5-mini 的已实施攻击成功率提高了 11.67 个百分点，Claude Haiku 4.5 提高了 13.21 个百分点。在 MCPTox 上，将原本中性的工具名称替换为明确与威胁相关的名称后，GPT-5-mini 的 ASR 降低了 11.00 个百分点，Claude Haiku 4.5 降低了 4.11 个百分点。在 AgentDojo 上，向与攻击相关的工具添加与威胁相关的措辞后，GPT-4o-mini 的 ASR 仅变化了 0.50 个百分点，但在需要使用该工具的任务中，良性效用下降了 5.36 个百分点。我们在 MCPTox 上开展了一项实验，观察到一个在 token 数量、长度和大小写方面均匹配的威胁中性名称，可以复现大部分由明确威胁相关名称引起的变化（在 GPT-5-mini 上为 11.00 个百分点中的 8.54 个百分点）。结果表明，在一种表示方式下测得的安全分数，可能无法推广到同一安全问题的其他威胁保持表示方式。因此，鲁棒性声明应由在一组受控的威胁保持表示方式上的表现加以支持，而不应依赖单一且受表示方式影响的分数。