通过注意力引导的表征扰动缓解视频幻觉

视频大语言模型（Video LLMs）经常生成缺乏输入视频支持的回答。对比解码（CD）可以缓解这些幻觉，但其有效性取决于负分支削弱视觉证据的方式。现有方法依赖预定义扰动或由问题重建引导的掩蔽，对模型在答案生成过程中依赖视觉信息的程度控制有限。我们提出用于对比解码的注意力引导表征扰动（ARP-CD），这是一种无需训练的框架，可直接在表征空间中构造对比负样本。ARP-CD 利用答案预测位置分配给视觉词元的注意力总量，引导对语言模型输入端的视觉隐藏状态进行有界梯度更新。这些更新会降低视觉注意力并生成负样本输入，在整个生成过程中，将该负样本输入的预测与原始分支的预测进行对比。在四种 Video LLMs 和四个基准上的实验表明，ARP-CD 在大多数模型与基准组合下优于具有代表性的免训练基线方法，在减少幻觉的同时提升了通用视频理解能力。进一步分析表明，注意力引导的扰动方向能够提升负样本质量，且由此生成的负样本可提供有效的对比参照，以纠正原始预测。