安全标签衡量的是什么？多模态大语言模型情境安全基准审计

情境安全基准将每个场景标记为 SAFE 或 UNSAFE，并依据该标签为多模态大语言模型（MLLM）评分，通常通过评判模型的自由形式回答来完成，而这些分数又用于指导部署。我们追问：这样的标签究竟衡量了什么？标签评分可能源于场景、请求，也可能源于基准自身的文件。我们提出 Benchmark Card，用七个可测量字段区分这些来源，并为六个基准填写了该卡片。只有 MSSBench chat 会通过图像文件泄露标签：仅凭图像尺寸即可达到 82.3% 的准确率，与七个商业模型中的六个持平或更优。在其他基准中，场景之外的信号来自设计本身。在 MOSSBench 中，样本所属的分区决定了标签；在 HoliSafe 上，仅凭请求对样本对进行排序，效果就与依据场景排序相当。在我们修正后的聊天数据划分上，尺寸规则的表现降至随机水平。随后，我们引入 Spot-Stop 分解，比较模型对安全场景与不安全场景组成的样本对进行排序和标注时的表现。该方法以标签交换零假设为基线，将超出基线的差距分解为三个部分：阈值因素、安全与不安全场景得分的重叠，以及仅在样本对内部成立的顺序关系。在十四个开放 MLLM 中，大多数模型的排序表现优于标注表现，且优势超出了其 AUROC 所能预测的程度。在聊天数据上，一个共享阈值即可弥补超额差距的三分之一至二分之一，而无标签重新中心化则能在均衡批次上恢复这部分表现。在同一情境的无标签场景上进行重新中心化后，十四个模型中有十三个在 VSCBench 上的排序表现得到提升。