组合式去对齐：审计大型视觉语言模型的安全性

大型视觉语言模型（LVLMs）容易受到组合式危害的影响：单独来看无害的图像和提示，会通过模型的跨模态推理产生危害。近期的对齐方法在组合式安全基准测试中取得了很高的分数，但 LLM 评判器只能衡量可观察到的行为，无法揭示安全性在模型内部的整合有多稳健。我们认为，去对齐可以为对齐稳健性提供一种补充性的审计手段。我们首先表明，仅需极少量的监督微调，就能获得与多阶段强化学习流程相当的 LLM 评判器评分，因此，仅凭相近的基准测试分数无法证明稳健性。随后，我们表明，对组合式危害的识别与拒绝是解耦的：九种标准的方向查找方法能以最高 AUC=0.99 的表现检测组合式危害，但消融所找到的方向，要么不影响拒绝行为，要么破坏模型输出的连贯性。因此，我们提出 CMaG，一种针对组合式安全性的免训练去对齐方法。CMaG 使用拒绝与服从之间的对数概率差值衡量拒绝意图，计算该差值相对于中间层激活的梯度，并将其与部分无害的图像—提示对进行对比，以分离出跨模态交互项。对 80 个样本执行一次反向传播即可得到一个方向，沿该方向进行引导，能够使拒绝行为单调地转变为服从行为。在 Qwen2.5-VL-7B 和 LLaVA-1.5-7B 上，CMaG 将组合式安全评分最多降低了 65 分，同时超过 98% 的输出仍保持连贯，表现优于基于梯度的基线方法；该方向还可迁移至文本中明确表达的危害，并使经过防御性训练强化的模型发生去对齐。因此，组合式安全性在行为层面可能看似很强，却仍难以抵御有针对性的内部干预。警告：本文包含不安全的模型输出，其中涉及自我伤害。