跨模态注意力充当频率滤波器：为什么冗长提示词能提升视觉语言模型的鲁棒性
Cross-Modal Attention Acts as a Frequency Filter: Why Verbose Prompts Improve Robustness in Vision-Language Models
精选理由
揭示冗长提示可增强视觉语言模型抗图像损坏能力，并给出简单有效的提示词优化方法。
AI 摘要
视觉语言模型（VLMs）在图像受损时很脆弱。我们发现，问题的措辞会以两种相反的方式影响 VLMs。冗长的问题能显著提升 VLMs 的鲁棒性——例如，将“有猫吗？”改写为“请仔细观察并回答：有猫吗？”。相反，当问题在语义上更复杂或粒度更细时，例如询问“椅子左边的杯子是什么颜色？”而不是“有杯子吗？”，VLMs 在图像受损时会变得更加脆弱。这两种效应都源于由问题条件化的跨模态注意力，它会在图像块上诱导出一个频谱滤波器：冗长的问题会拓宽其频率支持范围，而细粒度问题则会使其集中于更少的视觉尺度。当该滤波器与图像损坏处于相同的空间频率上时，模型的答案漂移最为明显。我们在 GQA 和 CLEVR 上使用 Qwen3-VL 和 LLaVA-OneVision 对这一滤波器视角进行了测试；在 8B 模型上，冗长改写将漂移方差降低了 70%–81%。实践中的方案——给提示词增加填充语句——即使在图像受损的情况下，也能进一步带来可测量的准确率提升。