The Prestige：使用魔术表演对认知视觉推理进行基准测试

我们提出了 The Prestige，这是一个视频理解基准，通过专业魔术表演探究认知视觉推理。在这些表演中，刻意设计的误导对模型跟踪事件并解释意外结果的能力提出了挑战。该基准包含开放式问题，涵盖从时间理解、因果理解到抵御对抗性问题的稳健性等方面。对主流开源和专有 VLMs 的评估显示，即使是性能最强的模型，其表现与人类之间仍存在显著差距。我们还发现，人类评分与自动评分之间存在系统性差异，并识别出模型反复出现的失败模式。消融实验进一步表明，即使模型无法独立生成正确的解释，也能够选择正确的多项选择题答案，这促使我们进一步研究问题形式。总体而言，这些发现凸显了 VLM 推理及其评估方面的局限性，强调了开发更可靠的视频理解模型和更严格的基准的必要性。