诊断大型视觉-语言模型中的密集同类属性误绑定

大型视觉-语言模型可以识别拥挤场景中的对象和属性，却可能将某个属性分配给错误的同类实例。通用视觉问答准确率会将回答标记为错误，而对象幻觉指标可能认为对象和属性都受到图像支持；二者都无法揭示这种转移。本研究将这一盲点形式化为密集同类属性误绑定（DSCAM），并提出 InstaBind-Lite，这是一个受控基准，可对其进行直接测量。该基准的 524 张图像包含 529 组经过策划的 3-6 个同类实体、1773 个带框实例、有序邻近实例、可区分的类颜色属性，以及四个互补的问题层级，共产生 9580 个可确定性评估的问题。不同于现有协议，源实例标注将不受支持的生成和识别失败与从另一个可见实体复制属性区分开来。绑定特定指标进一步量化转移频率、邻接性、序数距离和干预效果。在五个开源模型和两个商业/API 模型上，开源系统的平均误绑定率为 19.84%，API 系统为 7.55%；这些错误被总体准确率所掩盖。在可识别的转移中，分别有 80.70% 和 81.51% 来自相邻实例。定位和实例优先干预对部分模型有帮助，但并非通用补救办法。因此，InstaBind-Lite 将此前未加区分的错误答案转化为可识别来源的失败类别，并测试了传统基准无法确定的一个可靠性维度：模型是否不仅知道什么是可见的，还知道每个属性属于哪个实例。