arXiv cs.AI精选82

我们能否防御针对现实世界危机事件的 AI 生成视频攻击?对检测器、生成器和社交传播的系统性评估

Can We Defend Against AI-Generated Video Attacks on Real-World Crisis Events? A Systematic Evaluation of Detectors, Generators and Social Dissemination

· 60天前

精选理由

帮助读者了解危机视频深伪检测的现状与防御难点

AI 摘要

近期的视频生成器能够伪造对战争、灾难、公共紧急事件以及其他现实世界危机的逼真描绘,从而带来重大的错误信息风险。然而,现有基准在此类场景下对检测器和生成器行为的证据仍然有限,包括可检测性如何随生成条件变化、人们如何感知生成视频,以及检测器在社交传播过程中是否仍然可靠。为弥补这一空白,我们提出 RA-Bench,这是一个使用真实视频作为锚点的 AI 生成视频检测基准。RA-Bench 包含 17,886 个视频,其中包括覆盖 10 个社会风险类别的 1,830 个真实视频锚点,以及来自四个开源和五个闭源生成器的 16,056 个生成片段。基于 RA-Bench,我们从三个维度组织评估。首先,我们评估检测器的泛化能力,涵盖七种传统检测器、十种在三种审核设置下的零样本多模态模型,以及两个专门针对 AI 生成视频检测进行微调的 MLLMs。在这些方法中,三类检测器都无法在 RA-Bench 实例上持续泛化。随后,我们考察可检测性如何随生成质量、条件信息和采样种子而变化。这些分析表明,生成属性对不同检测器类别的影响不同,而源级别检测模式在不同种子下保持稳定。最后,我们研究人在真实性判断中的表现以及检测器在社交传播过程中的可靠性。我们发现,误导人们的视频对当前检测器而言同样难以识别,并且社交传播会使检测更加困难。总体而言,这些发现表明,当前方法难以检测逼真的 AI 生成视频,凸显了对能够适应不断演进的视频生成器且具备鲁棒性的检测器的需求。

查看原文(arXiv cs.AI)