从探针得分到告警策略：语言模型智能体激活监视器的运行有效性

激活探针可以凭借较高的受试者工作特征曲线下面积（AUROC）预测语言模型中与安全相关的属性，但部署后的智能体监视器需要在严格的误报预算下做出基于阈值的告警决策。这是两个不同的估计对象。我们提出运行有效性契约，明确监视器的目标、可观测性、身份、时序、干预单元、比较对象、校准方式和成本。我们在语义请求或轨迹层面形式化风险：当一个任务包含重复的告警机会时，行级 AUROC 和误报率无法确定语义单元层面的任一告警风险。经置信度认证的阈值还需要足够多的独立阴性单元、不会因平局产生歧义的规则，以及向部署环境的迁移。在 Models Under Pressure、LASR 拒答预测、不可变的 AgentDojo，以及按预先冻结协议复现的 ST-WebAgentBench 中，联合激活可观测监视器在前两个基准上分别达到 AUROC 0.957 和 0.935，但其锁定在 5%/10% 误报水平下的检测率分别仅为 .642/.742 和 .719/.782。在 AgentDojo 上，次级平均激活 rollout 监视器达到 AUROC 0.922，但在锁定的 5% 工作点上，38 个阳性语义案例无一被检测到；原本设定为 10% 误报的阈值在测试集上的实际误报率为 18.7-20.0%。由于测试未达到前瞻性冻结的 40 个阳性样本支持门槛，我们将其标记为 support-insufficient。在 ST-WebAgentBench 上，激活达到 AUROC .874，但 23 个独立的校准阴性样本甚至无法确定一个 10% 控制器；锁定策略选择弃权，而不是将机械意义上的零 FPR 报告为成功。一个探索性反例还表明，完整 AUROC 降低的同时，实际达到的 10% 效用可以提高。故障关闭编译器将 MUP 和 LASR 的上限限定为受限预测价值，将 AgentDojo 和 ST-Web 的上限限定为表征可访问性；没有任何设置达到告警策略有效性。