MoG-VLM：通过运动引导的视觉语言模型实现高效视频异常检测

视觉语言模型（VLM）在视频异常检测方面展现出巨大潜力，但密集的帧级推理使其难以用于实时部署。现有加速方法通常依赖均匀采样，忽略了内容的动态变化，可能在静态片段上浪费计算资源，也可能遗漏局部异常。我们提出 MoG-VLM，这是一种运动自适应异常检测框架，仅将运动作为轻量级控制信号，用于判断何时有必要进行 VLM 推理。为此，我们引入时间梯度幅值（TGM），通过内容感知采样，将计算集中于信息丰富的区域，同时避免冗余处理。我们进一步引入分层双流设计，通过锚点触发、支持提前终止的上下文窗口扩展机制，仅在异常可能性较高的帧周围启用密集的多帧 VLM 推理。随后，融合模块将这些瞬时语义线索与时序动作动态相结合。在四个基准测试中，我们的方法在 XD-Violence、UCF-Crime、MSAD 和 ShanghaiTech 上的 AUC-ROC 分别达到 91.91%、84.30%、87.88% 和 78.96%，并在零样本、无需训练的设置下，在其中三个基准上取得了新的最先进水平。在 XD-Violence 上，我们比此前最佳结果提升了 0.57 个百分点，同时实现了 1.31 倍的推理加速。这些结果表明，相比在所有帧上均匀增加 VLM 推理密度，根据内容感知分配 VLM 的处理能力，即更智能地处理更少的帧，而非均匀处理所有帧，是更有效的改进方向。代码已在 GitHub 上公开：https://github.com/kdawoud91/MoG-VLM。