RVSD：用于缓解大型视觉语言模型中视觉幻觉的检索视觉稀疏解码

大型视觉语言模型在视觉-语言任务中已取得显著成功。然而，它们仍然容易出现视觉幻觉（VHs），从而削弱其在真实世界应用中的可靠性。现有解决方案通常需要精心构建的数据集、额外训练或多轮解码，因而带来相当大的计算开销。本文提出 \textbf{RVSD}（\underline{R}etrieval \underline{V}ision \underline{S}parse \underline{D}ecoding），这是一种无需训练且即插即用的解码框架，首次在一次解码过程中将 token 稀疏化与 \textbf{Semantic-Space Visual Retrieval}（SSVR）统一起来。在 RVSD 中，我们引入一种 \textbf{语义导向的 token 选择} 策略，在保留关键视觉信息的同时，有选择地稀疏化冗余 token。我们进一步提出 SSVR 机制，将视觉补偿重新表述为共享语义空间中的按需跨模态检索过程。大量实验表明，RVSD 在缓解 VHs 方面实现了最先进的性能，同时在长上下文生成设置下保持了强健的抑制能力。代码可在此处获取。\footnote{https://github.com/canjie-liu/RVSD}