注意尖峰：大型视觉语言模型中视觉巨量激活的机制与脆弱性

大型视觉语言模型（LVLMs）从其纯文本基座继承了巨量激活：即少数固定隐藏通道接收到比典型幅度高出数千倍的值而形成的尖峰。文本尖峰会系统性地出现在早期层的固定初始位置，且与输入内容无关。视觉尖峰会随图像而变化，但其形成是否在不同 LVLMs 中遵循一致模式，以及它们如何响应图像扰动，仍是未解问题。我们发现，一些 LVLMs 不会形成视觉尖峰，而另一些则以不同频率产生尖峰，通常出现在更深层。我们从模型权重中识别出触发方向，并提出了一条可解释的位置规则：在语言模型解码器运行之前，最终产生尖峰的 token 大多局限于那些与图像其余部分共享信息最少的 token。关键的是，视觉尖峰表现出显著的脆弱性。常见损坏经常会产生并迁移尖峰，较少情况下会移除尖峰，从而提高总体发生率。我们的触发引导尖峰攻击在较小的 $\ell_\infty$ 预算下有意地产生或移除尖峰；在十个会产生尖峰的模型中，有九个模型仅需 1/255 即可实现。最后，我们的预防性干预只在尖峰爆发前移除触发成分，在干净和受扰动图像上消除或大幅减少尖峰，同时使其他图像 token 几乎保持不变。我们的研究涵盖了 25 个基于适配器的 LVLMs，它们构建于 10 个系列、18 个已发布的纯文本基座之上，参数规模从 2B 到 72B 不等。