只需询问Jev：用于校准决策的强化学习，作为AI对齐失败的零样本检测器

对齐失败检测器用于筛查已部署的语言模型，并为对齐基准评分。大多数检测器是生成式评审器，需要针对每项标准执行一次解码过程；而读取词元概率的分类器（如Llama Guard）仍然在每次调用中只对一个固定标签进行评分。Jev是一个通过校准决策强化学习（RLCD）训练的模型，能够在单次调用中，针对一个输入回答多个指定类型的问题，并给出经过校准的概率。它能否检测对齐失败，此前尚未得到测量。我们提出RLCDAlignBench，在十类对齐失败上对Jev进行基准测试：迎合、越狱、欺骗、提示注入、幻觉、隐私侵犯、社会偏见、奖励欺骗、隐瞒不确定性以及寻求权力。该基准涵盖44个基准和5个目标模型，其标签由各基准的评分器给出，其中两个基准还由人类进行标注。其中许多失败具有关系性，其定义依赖于某个参考对象，例如用户的信念或注入的指令，而仅凭响应本身无法揭示这一参考对象。因此，我们的核心思路是将向Jev提出的问题与它所看到的内容分别变化：一方面改变问题的措辞和答案类型，另一方面改变输入中的字段。仅使用一个通用问题，在零样本设置下即可达到0.886的中位数AUROC，并在大多数基准上击败有监督基线。问题措辞影响很小，而上下文的影响更大，主要体现在那些编码标签的字段上。Jev达到了参考评分器与人类标签之间的一致性，揭示了现有基准中的标签缺陷，其成本仅为LLM评审器评分器的1/63。代码和数据：https://github.com/sumleo/RLCDAlignBench。