少量扰动即可改写感知：在 $\epsilon \leq 4/255$ 下对视觉语言模型进行定向语义替换
It Takes Little to Rewrite Perception: Targeted Semantic Substitution in Vision-Language Models at $\epsilon \leq 4/255$
精选理由
揭示极小扰动即可改写视觉语义，为评估多模态模型安全性与防御策略提供关键依据
AI 摘要
arXiv:2609.38298v2 公告类型：replace-cross 摘要：视觉语言模型（VLMs）已广泛部署于安全关键场景，而了解对抗性扰动在多大程度上能够控制它们，是评估其可信度的前提。现有的表征对齐攻击能够使 VLM 感知目标图像，但在 $\varepsilon \leq 4/255$ 时成功率有限。因此，VLMs 似乎能够抵御这一范围内的扰动。我们表明，这种鲁棒性并不成立，因为定向语义替换在同一范围内即可成功。具体而言，在白盒威胁模型下，我们在受攻击 VLM 的合并后 token 空间中，将源图像的每个流与目标图像中的对应流进行对齐。我们采用严格的成功标准，要求模型同时说出目标、确认目标存在，并否认源对象。在图像上，当 $\varepsilon = 2/255$ 时即可出现目标语义；当 $\varepsilon = 4/255$ 时，完全替换率达到 38%。在视频上，当 $\varepsilon = 1/255$ 时，完全替换率达到 35.9%。我们还观察到一种语义融合现象：大型语言模型（LLM）会将相互矛盾的视觉信号合理化为连贯的叙事。