基于视觉语言模型的智能体集成视觉异常检测

视觉异常检测旨在检测异常物体，但在模型训练过程中，异常样本通常十分稀缺。通过组装多个预训练检测器，利用其可迁移的图像分数和异常图，可以提升检测效果。然而，现有大多数集成方法都对保存的预测结果采用固定的融合规则；当预训练检测器由于训练目标、先验知识和视觉表征不同而产生明显分歧时，这些方法往往难以奏效。为此，我们设计了 AnomalyAgent，一种用于实现精准视觉异常检测的训练后融合框架。AnomalyAgent 对异构分数和异常图进行对齐，总结分数级和区域级分歧，并将融合视为一个有限动作选择问题。该框架实现了两类动作：1）分数动作，通过一致性、鲁棒聚合、检测器加权或分数图一致性，决定如何融合图像级检测器置信度；2）图动作，通过一致性、检测器加权、几何聚合或分歧校正，融合稠密异常响应。我们引入了一个受约束的视觉语言模型（VLM），用于检查高冲突样本，并选择有效的分数动作和图动作，从而生成最终预测结果。我们以 MVTec AD 和 VisA 作为主要基准，同时结合另外七个公开异常检测基准以及用于大规模分数级评估的 Real-IAD，对 AnomalyAgent 进行了评估。在这些基准上，AnomalyAgent 始终优于等权融合；在 MVTec AD 和 VisA 上，与参与比较的融合方法相比，它取得了最佳的平均图像 AUROC 和像素 AP，并且在其他异常领域展现出稳健的迁移能力。