理解并缓解 VLM 中由词元剪枝引发的漏洞

arXiv:2610.09703v1 公告类型：交叉发布 摘要：词元剪枝通过移除冗余视觉词元来加速视觉语言模型，但其安全影响尚未得到充分研究。在本研究中，我们首次对词元剪枝机制进行了全面的安全评估，发现：随着剪枝比例增加，大多数剪枝策略会显著降低安全性；而基于查询的压缩则呈现相反趋势，在极端剪枝（比例高达 99.8%）下，模型安全性反而意外提升。这一鲜明对比引出了一个关键问题：不同的词元剪枝策略如何重塑模型的安全行为？能否在不牺牲加速效果的情况下提升安全性？为回答这一问题，我们识别出一种此前未被认识的机制，称为“剪枝诱导的恶意放大”：移除背景词元会引发一种副作用，迫使模型的注意力集中到前景中少数保留下来的恶意锚点上，从而在越狱攻击下无意间放大其有害语义。为解决这一问题，我们提出了一种在推理阶段运行、即插即用的安全感知剪枝（SAP）机制，通过三个步骤抵消这种主导效应：（1）识别恶意锚点；（2）恢复被剪除的良性词元；（3）将恶意锚点获得的过量注意力重新分配给良性词元。在三个安全性基准和四个实用性基准上开展的大量实验表明，SAP 能够在不损害效率或实用性的前提下缓解剪枝引发的漏洞，即将攻击成功率（ASR）最多降低 62%。