迈向负责任的 AI 增强型网络防御:模式识别、纵深防御与人机协作的必要性
Toward Responsible AI-Augmented Cyber Defense: Pattern Recognition, Defense-in-Depth, and the Case for Human-AI Collaboration
精选理由
以可检验模型量化人机协同与分层防御,指导安全运营中心优化告警处置。
AI 摘要
网络安全文献已广泛记录人工智能(AI)在威胁检测、事件响应和预防方面的运营效益,同时也对过度自动化、算法偏见以及分析师技能弱化提出了定性担忧。然而,现有研究在很大程度上缺乏一种形式化且可证伪的模型,用于连接这些文献中反复出现的三个构念:纵深防御理论、人工智能模式识别理论,以及安全运营中的人机协作。本文构建了这样一个模型。我们将分层防御形式化为伯努利检测级联模型,其中 AI 增强以乘法方式作用于各层;将每一层的模式识别行为形式化为 Neyman-Pearson/Bayesian 检测器,并推导出其闭式最优阈值;同时,将人机分流形式化为容量受限的级联模型,明确量化检测概率与误报(“告警疲劳”)率之间的权衡。在具有说明性但符合实际的运行点上进行的 Monte Carlo/解析模拟表明:(i)AI 增强效果会跨防御层累积,在传统分层防御趋于饱和的地方,恰恰能够带来最大的边际收益;(ii)对 AI 标记的告警进行全面人工复核并非最优方案:将分析师容量提升至覆盖 100% 的告警,虽然可使误报减少约 20 倍,却会同时降低系统层面的检测概率,因为此时分析师的不完美准确性被应用于每一条告警,而不是经过筛选的告警子集。这些结果为广泛重复的“平衡人机协作”定性建议赋予了精确且可检验的形式,并提出了一个内部最优的容量比率,可作为安全运营中心(SOCs)的具体设计目标,包括负责保障 IT/OT 融合型关键基础设施安全的安全运营中心。