解码防护机制：XAI 指导的提示注入检测扰动分析

大型语言模型（LLMs）正越来越多地部署于生产系统中，其可能遭受提示注入和越狱攻击等对抗性操纵的问题也日益受到关注。基于分类器的防护机制（例如 Prompt Guard 2）被广泛用作抵御此类攻击的第一道防线，但其内部决策逻辑对于防御者和攻击者而言在很大程度上都是不透明的。本文开展了一项探索性案例研究，应用可解释人工智能（XAI）技术分析 Prompt Guard 2 如何区分恶意提示与良性提示。 我们通过四项实验对这一问题进行实证探究。在 Vanilla Gradient 和 SHAP 归因方法的指导下，我们发现，Prompt Guard 2 的决策依赖于大量词元的累积贡献，而非少数几个占主导地位的词元；然而，由显著性引导的同义词替换和句子级释义改写，能够在仅改变文本中适度比例内容的情况下翻转其预测结果，并且在某些情况下成功对底层 LLM 实施越狱。进一步的数据集规模显著性分析表明，未被检测到的注入提示系统性地缺少分类器所依赖的词汇标记。我们讨论了这些发现对基于分类器的防护机制设计与评估所具有的意义，并指出，用于提升透明度的解释方法也可能同时降低构造成功对抗性绕过方案的成本。