通过 Signal-Aware Adaptive Fusion (SAAF) 实现高效零样本视频异常检测

将视觉语言模型部署于视频异常检测面临一项根本性约束：其语义推理所需的计算预算难以适应现实世界视频流的规模。我们提出 Signal-Aware Adaptive Fusion (SAAF)，该框架通过三项关键创新实现高效零样本异常检测。首先，我们引入一种在语义嵌入空间中运行的双信号自适应采样器：突变信号通过相邻帧之间的余弦距离捕捉突发事件，而漂移信号则通过相对于滚动时序上下文的偏离来检测静态和渐进式异常。两种信号通过逻辑或门控相结合，并采用基于指数移动平均（EMA）的自适应阈值机制，无需训练数据即可全面覆盖各类异常。其次，我们提出一种阈值门控级联架构，先进行轻量级帧级评分，再进行计算开销较高的视频级时序分析，仅当置信度表明需要额外上下文时才调用后者。第三，我们设计了一种信号感知加权融合机制，根据触发帧选择的信号动态调整评分组合方式。在四个基准测试中，SAAF 以显著更低的成本实现了具有竞争力的准确率。在无需训练的零样本方法中，SAAF 在 XD-Violence、MSAD 和 ShanghaiTech 上的 AUC-ROC 分别达到 92.07%、86.70% 和 80.54%，均创下最新最佳水平，其中在 XD-Violence 和 MSAD 上的表现还超越了有监督基线。SAAF 在 XD-Violence、UCF-Crime 和 MSAD 上分别保持 44.95、48.61 和 41.06 FPS 的处理速度，吞吐量分别达到此前最佳零样本方法的 2.43、2.63 和 2.22 倍。代码：https://github.com/kdawoud91/SAAF