DiaVLo：诊断视觉语言模型的行为

视觉语言模型（VLMs）依赖于在其各个子组件之间存储和传递适当的信息。验证 VLMs 是否表现出预期行为，同时避免有害行为，是实现其可靠部署的核心。然而，能够识别 VLMs 行为的方法仍然十分有限。我们提出 DiaVLo，这是一种诊断框架，利用人工整理和 VLMs 的生成能力，构建关于预期行为和观测到的 VLMs 行为的规范，从而揭示潜在的不一致。此外，DiaVLo 还提供因果估计，用于识别对 VLMs 行为起主导作用的概念。我们在多个开源 VLMs 上，分别在分类和生成条件下对 DiaVLo 进行了评估。实验表明，DiaVLo 生成的行为标签与模型性能相关，并为测得的性能提供了背景信息。DiaVLo 揭示了明显一致和不一致的行为，以及 VLMs 感知、组织和优先处理概念的方式所呈现出的模式。