迈向统一的滥用监测基准

arXiv:2610.07089v1 发布类型：cross 摘要：LLM agents 越来越多地在多参与者环境中行动，使其面临来自多个来源的滥用：分解攻击，即将有害请求拆分为看似无害的子请求；以及提示注入攻击，即被攻陷的工具传递恶意指令。现有评估将这些威胁分开处理，并询问某条轨迹是否有害，而不是询问其何时变得有害。我们提出监测智能体的响应（其行动会在其中被外化），并考察监测器首次识别出危害的时间点是否落在危害窗口内（从智能体首次作出有害承诺到执行目标的时间段）。我们建立了一个统一的、针对轨迹级滥用监测的形式化框架，并据此构建了一个包含约 6,200 份对话记录的基准，记录用户、LLM agent 与外部环境之间的交互。这些记录采用统一模式，涵盖上述两类威胁，并包含带标签的危害窗口、相应的良性对照，以及与这些请求相匹配的拒答实例。在 17 种监测器配置下，我们发现，所提出的以行动为框架的监测器在两类威胁上依据经典指标均表现良好（AUC 分别为 0.95 和 0.99），而以内容为框架的监测器在注入攻击上表现崩溃（AUC 为 0.52）。我们还表明，经典的无位置感知指标会对监测器性能描绘出过于乐观的图景，因为在衡量危害定位能力的区间指标下，所有监测器对分解攻击的定位能力都很差。总体而言，我们阐明了开展统一的滥用监测研究的必要性。