arXiv cs.LG精选76

通过核锚定局部性正则化缓解固定目标异常检测器中的收敛崩溃

Mitigating Convergence Collapse in Fixed-Target Anomaly Detectors via Kernel-Anchored Locality Regularization

· 9天前

精选理由

揭示固定目标异常检测的收敛坍塌机制,并提供高效的KCM与KAR改进方案。

AI 摘要

arXiv:2610.02345v1 公告类型:新 摘要:一类表格型异常检测器在平方误差损失下训练神经映射,使其趋向一个固定目标,并通过测试时的残差对异常进行评分;contraction matching、one-step rectified flow 和重构自编码器都符合这一范式。我们刻画了一种收敛崩溃现象:优化得越好,检测器的表现反而越差。在收敛状态下,所学习的映射甚至会在分布外跟踪目标,因此残差信号不仅在正常数据上消失,在异常数据上也会消失。因此,这些检测器依赖隐式的不收敛机制(提前停止、容量上限)来保留信号。我们认为这是结构性问题:有效的异常检测需要一种能够阻止无约束外推的局部性约束。经典检测器(kNN、KDE、isolation forests、LOF)会显式施加局部性约束,而固定目标神经检测器则不会。我们通过证明固定目标检测器的核回归对应形式是有限带宽的 Nadaraya-Watson 平滑器,来形式化二者之间的联系,并将其称为 Kernel Contraction Matching (KCM)。KCM 具有闭式形式、无需训练且 CPU 效率高,同时在 ADBench 上达到了与成熟神经基线相当的性能。在此基础上,我们提出 Kernel-Anchored Regularizer (KAR),用于惩罚神经预测偏离训练目标的核加权平均值。在易发生收敛崩溃的 ADBench 数据集和三种主干网络上,KAR 均能缓解崩溃,并在延长训练时提升 AUROC。

查看原文(arXiv cs.LG)