ReWEIGH 证据：校准 Token 级序数视觉证据以缓解大型视觉语言模型中的幻觉

大型视觉语言模型（LVLMs）经常产生幻觉，生成输入图像并不支持的内容。在解码过程中防止此类内容，需要一种针对候选项的度量，用于衡量图像对当前考虑的 token 支持有多强。模型的视觉 token 状态提供了这种证据的天然来源，因为将每个状态通过输出头投影，可以揭示该位置偏向哪些词汇项。这些按位置得到的读出结果不能直接汇聚，因为它们的概率大小在不同视觉位置之间不可比较。词汇排名为汇聚提供了尺度不变的基础，但不同 token 在其典型的基于排名的证据上仍存在系统性差异。我们提出 ReWEIGH，这是一种无需训练的解码干预方法，它汇聚视觉位置上的这些排名，并将每个候选项与从未标注图像中估计出的特定于 token 的参考值进行比较。在推理时，ReWEIGH 在预填充阶段缓存图像证据，并仅对低于其参考值的候选项施加有界惩罚。在四个 7B 骨干模型上，ReWEIGH 将幻觉性物体提及最多减少 21.3%，同时在很大程度上保持或提升描述性和通用性能。在缓存证据后，平均每个 token 增加的延迟为 1.33%，并且这种减少效果可扩展到六个架构家族、最高 32B 参数的模型。