问题出在哪里？评估视觉-语言模型中的时间一致性

视觉-语言模型（VLMs）在视频和图像序列基准上表现出色，但它们是否捕捉到了时间结构仍不明确。为研究这一问题，我们将时间定位表述为异常检测问题，提供一种简单且受控的评估方式，直接测试模型对时间一致性的敏感性。我们引入 TimeCatch，其中通过交换连续帧来创建时间异常，并通过用高斯噪声替换某一帧来创建帧级异常。模型在四个合成和真实世界数据集上接受异常检测与定位任务评估，并辅以一项人类研究。我们的评估揭示了帧级异常检测与时间异常检测之间的巨大差距。尽管 VLMs 能够稳定检测帧级异常，并且通常能准确定位它们，但在时间异常检测上表现接近随机水平，在定位上也仅略高于随机水平。相比之下，人类在这两项任务上都取得了接近上限的表现。针对模型规模、提示策略、序列长度和视觉相似性的进一步分析表明，这些失败不能仅由感知能力或模型容量的限制来解释。总体而言，这些发现表明，当前的 VLMs 能够识别单帧内部的异常，但难以跨帧整合信息以推理时间一致性。TimeCatch 为评估视觉-语言模型中的时间定位提供了一个受控基准。