组合式去对齐：审计大型视觉语言模型的安全性

arXiv:2611.07216v1 公告类型：新提交 摘要：大型视觉语言模型（LVLMs）易受组合式危害影响：单独来看无害的图像和提示，会通过模型的跨模态推理产生危害。近期的对齐方法在组合式安全基准测试中取得了高分，但 LLM 评判器只能衡量可观测行为，无法揭示安全性在模型内部整合得有多稳健。我们认为，去对齐可为对齐稳健性提供补充性审计。我们首先表明，极少量的监督微调即可达到与多阶段强化学习流程相当的 LLM 评判器分数，因此，仅凭相近的基准测试分数无法证明稳健性。随后，我们表明，对组合式危害的识别与拒绝是解耦的：九种标准方向查找方法检测组合式危害的 AUC 最高可达 0.99，但消融所找到的方向，要么不影响拒绝行为，要么破坏模型的连贯性。因此，我们提出 CMaG，一种针对组合式安全性的免训练去对齐方法。CMaG 通过拒绝与遵从之间的对数概率差值衡量拒绝意图，计算其相对于中间层激活的梯度，并将其与部分无害的图像—提示对进行对比，以分离跨模态交互项。仅需对 80 个样本进行一次反向传播，即可得到一个方向，沿该方向施加引导可将拒绝单调地转变为遵从。在 Qwen2.5-VL-7B 和 LLaVA-1.5-7B 上，CMaG 可使组合式安全分数最多下降 65 分，同时超过 98% 的输出仍保持连贯，表现优于基于梯度的基线方法；该方向还可迁移至文本中明确表达的危害，并使经过防御性训练强化的模型发生去对齐。因此，组合式安全性在行为层面可能表现强健，却仍易受针对性内部干预影响。警告：本文包含不安全的模型输出，其中涉及自我伤害。