arXiv cs.AI精选73

日志异常检测的协议敏感性评估:HDFS 和 BGL 上的组件成本与目标访问敏感性

Protocol-Sensitive Evaluation of Log Anomaly Detection: Component Costs and Target-Access Sensitivity on HDFS and BGL

· 9天前

精选理由

揭示评测协议如何改变日志异常检测结论,助力更公平、可解释地比较准确率与资源成本。

AI 摘要

即使检测器设置保持不变,协议选择也可能改变从日志异常检测基准中得出的结论。我们使用 HDFS(Hadoop Distributed File System)和 BGL(Blue Gene/L)日志中的六种固定计数、序列和语义配置,对数据划分构造、表征可见性和组件成本开展联合实证研究。随机划分会使若干配置接近平均精度上限,而 HDFS 的组互斥划分评估和 BGL 的按时间顺序评估则产生更低的分数及不同的观测排序。在固定的 BGL 截止点下,解析器选择使语义 XGBoost 的平均精度均值跨度达到 0.124,同时仍保持其领先于计数 XGBoost 的优势;最早的滚动周期则反转了这一排序。我们开展了一个双因素跨系统消融实验,对比仅使用源端表征与通过表征语料库和逆文档频率离线传导式访问无标签目标模板的效果:HDFS 到 BGL 的平均精度从仅源端访问时的 0.191 提升至使用联合语料库和目标 IDF 访问时的 0.325;中间条件揭示了平均精度以及固定审核预算下检索性能中具有方向依赖性的交互作用。组件级分析将解析和表征成本与分类器训练、预测及存储成本区分开来。总体而言,这些发现将检测器比较与测试总体、预处理状态、可见信息及所测量的流水线阶段联系起来,并明确了在报告分数时还需提供的协议字段,从而支持对日志异常检测准确性和资源使用进行可解释的比较。

查看原文(arXiv cs.AI)