合规检测器读到了什么？对激活探针和护栏模型的审计

已部署语言模型中的监管合规监测正日益作为一种法律和审计控制来实施，用于根据涵盖数据保护、医疗保健、金融监管和平台政策的成文规则检查模型输出。只有当检测器的裁决取决于所述规则，而不是取决于场景的表面特征时，这种监测才有意义。我们表明，在当前这一类合规检测器中，这一条件并不成立；我们将这种失效称为规则盲视。删除、置换或替换适用规则后，我们测试的每个护栏和激活探针的检测准确率都保持不变，其中包括一个以政策为条件的护栏，它能正确引用适用条款，但当该条款被替换为其宽许可对应条款时，其裁决几乎不变。一个专门构建的基准将两条规则与两个场景交叉组合，使得任何单一规则或场景都无法预测标签；该基准在一种先前任何基准都未排除的设计下证实了这种失效，并表明逐步推理能够避免它，而我们测试的任何快速检测器都不能。大规模审计需要一种无需重新训练的检测器，因此我们提出 Internal Compliance Score (ICS)：一种无需训练的激活读出方法，由十个带标签样本对校准，并通过单一投影进行评分。我们对 ICS 施加与其所审计护栏相同的严格审查：它未达到预注册的超越平凡基线的标准，而一个词袋模型与其池化泛化表现完全相同。它仍然有用，因为成本低廉，使我们能够审计四个已部署的护栏模型、一个 8B 零样本评判器和十三个基准；当用于对候选回答进行排序时，它提高了经机械验证的通过率，不过自适应白盒攻击会消除这一增益。我们发布反事实协议和交叉规则基准，以便未来的探针和护栏声明能够接受规则盲视测试。