Shift-Reliance Alignment：根据视觉语言模型信赖的线索对其进行排名

arXiv:2610.22610v1 公告类型：cross 摘要：视觉语言模型（VLM）通常依据排行榜进行选择，而排行榜会针对每种应用给出一个统一排名。然而，对于场景暗示存在但实际并不包含的物体相关问题，在 POPE 幻觉基准测试中错误率最低的模型，并不是在这类问题上错误率最低的模型。针对物体是否存在的是非题，我们表明，只要有 650 至 1,200 个用于校准检测器的带标签目标样本，就可以在不让任何候选模型运行于该目标领域的情况下，预测该领域的最佳模型。我们通过编辑 100 张带标签的源图像，使某一线索暗示错误答案，并与相匹配的对照编辑进行比较，从而衡量每个模型对某一线索的依赖程度；这里的线索是指场景上下文或图像中的文本等特征。依赖程度可以预测哪些 VLM 会被物理贴纸攻击误导（在未用于设计该评分的九个模型上，Spearman 相关系数为 .93），也可以预测哪些模型会在未经编辑的 COCO 照片上产生幻觉，其解释能力超出了模型倾向于回答“是”这一因素。Shift-Reliance Alignment（SRA）根据模型在带标签源问题上的错误率，加上其依赖程度乘以分布偏移，来为模型评分。分布偏移是指在线索会造成误导的目标问题中，这类问题所占的比例，并由检测器在无标签目标图像上进行估计。SRA 选择得分最低的模型。在预注册的新图像测试中，当大多数问题都会受到误导时，SRA 将所选模型的错误率从依据源错误率进行选择时的 30.4% 降低至 Objects365 和 OpenImages 上的 18.8%；但与其预测相反，在 COCO 上并未实现这一效果。在我们发布的基准 CueDial 中，线索造成误导的频率有所变化：当叠加文本否认一个可见物体时，依据模型置信度进行选择的表现比最佳模型低出 40 多个百分点，而 SRA 与最佳模型的差距保持在 3 个百分点以内。