TempCloze: Video-LLMs 能识别缺失的中间部分吗？

针对 Video-LLMs 的时间推理基准通常通过语言来介导，这为选项措辞、答案相关性或语言先验带来的语言捷径留下了空间。为减少这类捷径，我们提出 TempCloze，这是一个用于评估 Video-LLMs 视觉时间推理能力的视频填空基准。给定视频的开头和结尾片段，模型必须从四个候选项中识别真实缺失的中间部分。TempCloze 包含来自七个来源的 1,521 个经过精心筛选的视频，主要是长镜头和第一人称视频。我们沿三个维度构造同源干扰项：Semantic 询问应发生什么事件，Alignment 探查它应在何时发生，Progression 测试它应如何展开，同时共享的场景和物体降低外观线索。我们对 10 个专有模型和 21 个开源 Video-LLMs 的评估显示，Alignment 是主要瓶颈：模型往往能识别合理的语义内容和局部事件推进，但难以处理时间对齐。我们进一步在 TempCloze-Mixed 和 TempCloze-Hard 上，使用四个代表性模型进行错误模式和行为敏感性分析，以考察错误从何而来，以及候选项顺序、上下文方向、可见跨度、帧密度和测试时缩放如何影响模型选择。