哪种图像属性承载越狱信息?——对图像到文本越狱的受控剖析
Which Image Property Carries the Jailbreak? A Controlled Dissection of Image-to-Text Jailbreaks
精选理由
通过控制变量拆解多模态越狱图像因素,发现图文相关性可能提升攻击成功率,为攻防评估提供依据。
AI 摘要
arXiv:2610.07009v1 公告类型:cross 摘要:图像到文本越狱会将有害意图置于文本、图像内容或二者之间的关系中。我们在包含313条提示词的 StrongREJECT 子集上,使用五个多模态模型,并在附录中额外评估 InternVL3.5-8B,考察四类已发表攻击方法中的图像侧因素。有害指令在各个条件下保持不变;基线矩阵对每条提示词抽取一次样本,配对消融实验则抽取三次样本,并使用自动化评分标准评审器进行判断。单独的有害查询,无论是否附带无关的良性图像,在大多数目标模型上都只能取得很低的攻击成功率,而攻击图像会显著提高成功率。第一,单个图块的熵和 JPEG 大小无法可靠地区分攻击图块与尺寸匹配的良性干扰图块,这限制了仅基于密度的筛查。第二,早期的图块数量梯度受到载荷可见性的混淆。修正后的区域数量测试未发现可检测的影响,因此图块数量结构的作用仍未确定。第三,在 Qwen3-VL-8B 上,移除查询特定相关性的 E4 操作会使 ASR 下降约0.12。这支持将有限的影响归因于相关性操作,但图文一致性仍未得到测量。在重叠刺激材料上,类别内控制实验复现了这一方向。经过全局统计校正后,有五项测试仍然显著,但只有 E4 支持将影响归因于一个已测量的描述符;类别内结果是稳健性检查,而不是独立的归因证据。这些结论仍取决于评分标准评审器。