视觉语言模型中空间变量绑定的双重机制

arXiv:2603.22278v3 公告类型：replace-cross 摘要：许多多模态任务（如图像描述生成和视觉问答）都要求视觉语言模型（VLMs）将对象与其属性及空间关系绑定。然而，VLMs 内部在何处、以何种方式计算这些关联，仍不清楚。在本研究中，我们表明，VLMs 依赖两种并行机制来表示空间变量绑定。在语言模型主干中，中间层基于与对象对应的视觉词元，表示与内容无关的空间关系。然而，这一机制在影响模型预测方面仅起次要作用。相比之下，空间信息的主要来源是视觉编码器，其表征编码了对象的布局，并被语言模型主干直接利用。值得注意的是，这种空间信号全局分布于视觉词元之中，不仅覆盖对象区域，还延伸至周围的背景区域。我们在 COCO 数据集中的复杂自然图像上验证了这些发现的泛化性：对所有图像词元中源自视觉的空间表征进行全局增强，可以纠正不同规模模型中的空间变量绑定错误。总体而言，我们的结果阐明了 VLMs 内部如何计算空间变量绑定，并突出了视觉编码器在实现这一能力中的核心作用。