使用眼动追踪评估 AI 生成视频的视觉真实感

迄今为止，对 AI 生成视频的人类评估一直依赖显式的人类反馈，例如判断或评分。虽然这些信号捕捉到了观看者得出的结论，但无法深入揭示促成这些结论的感知过程。本文研究了将眼动追踪作为 AI 生成视频的一种互补性人类评估信号。我们围绕最新生成模型生成的视频开展了两项视觉图灵测试（VTT）实验，共有 90 名参与者；参与者观看每段视频两次，随后提供反馈。在这些实验中，我们针对 438 段视频收集了 4,286 次有效眼动追踪试验。分析表明，注视模式能够提供有信息量的评估信号，并且与显式的人类反馈相一致。在此基础上，我们提出了首个计算方法 GazeEval，用于根据眼动追踪数据预测人们感知到的 AI 生成视频视觉真实感。该方法的预测准确率达到 71.3%，证明眼动追踪数据包含有关人们如何评估视频的有效信息。我们公开了研究数据，以支持有关使用眼动追踪评估 AI 生成视频的进一步研究。