潜在诊断分类体系：用于构建分类器并诊断其决策的框架及其在提示注入检测中的应用
The Latent Diagnostic Taxonomy: A Framework for Constructing Classifiers and Diagnosing Their Decisions, Applied to Prompt Injection Detection
精选理由
提供一套提示注入分类与诊断框架，识别脆弱判断和可疑捷径，并指导安全处置与人工复核。
AI 摘要
arXiv:2608.26423v2 公告类型：替换 摘要：本文提出了一个框架，用于构建作为安全防护层的分类器，并开发配套的诊断方法，以识别分类器的哪些高置信度决策值得信任。该框架称为潜在诊断分类体系，包括：（i）构建维度优化的分类器，其中嵌入维度通过交叉验证性能进行实证选择，而非预先固定；（ii）定位一组规模相对较小的潜在支持向量（约占全部训练样本的 29%），这些向量代表具有重要影响的提示，用于识别会改变分类器预测标签的词元；（iii）利用这些词元及其对应的攻击幅度，构建诊断分类体系。该诊断分类体系提供了端到端的指导，用于标记需要不同处理方式的提示：安全地信赖分类器的决策；标记启发式偏差和启发式覆盖情形；将上下文不足的情形转交进一步的人工或安全审查。我们将该框架应用于一个在公开提示注入数据集上训练的分类器，发现其高置信度决策中有相当大一部分（约 77%）对删除单个词元并不稳健，而且这种脆弱性可分为两种不同的失效模式：置信度校准失效，以及确实可被利用的捷径。针对该分类体系中的每个分区，我们还推荐了对已诊断提示进行补救的策略。我们通过一系列步骤阐释该框架，并展示每个步骤的运作方式。