通过提示进行判别：在真实环境中泛化恶意输入探测器

arXiv:2610.02413v1 公告类型：新 摘要：LLM agents 越来越依赖激活探测器作为运行时监视器，用于检测提示注入、越狱和不安全请求；这类探测器读取模型自身的隐藏状态，以便在代理对有害输入采取行动之前将其识别出来。一种廉价且日益常见的做法借鉴了 LLM-as-judge 提示：在用户发言之后追加一条简短的分类指令，并在此位置读取探测信号，从而增强探测效果：该指令要求模型将收到的请求表示为某个类别，使探测器需要区分的信号更加集中，而服务成本几乎不变。但这个后缀的措辞是否重要？它的优势是否能在真实环境中成立，即面对探测器训练时从未见过的攻击类型——这正是部署后的监视器所处的场景？我们在严格的留一数据集外（LODO）评估下，通过一组受控的用户发言后缀进行测试，覆盖 13 个安全基准（越狱、注入和良性聊天）以及三个开放权重模型系列（Llama-3.1-8B、Qwen3.5-9B、Gemma-4-12B）。对于单位置探测器，分类后缀相较于无后缀能够稳定提升分布外检测性能（最高约提升 4 个 AUC 点）；但后缀的具体形式很重要：提示模型对输入进行分类，即使类别标签不包含任何内容信息，也能稳定胜出；无关主题的后缀或仅要求模型注意输入的后缀帮助不大。性能提升来自分类格式，而非明确指定的判据：不包含内容信息的后缀能够匹配真实的恶意/良性分类，而加入判据只会在严格阈值下提升精确率。这并非单位置读取造成的假象：在生产环境中使用的多位置汇聚探测器（attention、multi-max、MLP）上，这一收益同样存在，不过其中表现最佳的后缀取决于读取方式。通过 KV-cache 分叉提供服务时，这种方法可以低成本地直接接入任何激活探测监视器，但并非必然有效：哪种后缀有帮助以及帮助有多大，取决于模型和读取方式。