通过 NeMo-Guardrails 代理实现面向 SIEM/XDR 的受限动作 AI 补救
Constrained-Action AI Remediation for SIEM/XDR via a NeMo-Guardrails Proxy
精选理由
以闭环意图与参数校验约束 LLM 响应式操作,降低恶意告警诱发误操作的风险。
AI 摘要
信息技术和运营技术领域的安全运营中心(SOC)面临着同一个事件响应难题:大量关联告警涌入,而分析人员不足。大型语言模型(LLM)日益被提议用作推理引擎,对告警进行分流,并在自主部署模式下发出命令,在生产主机上封禁 IP、终止进程或隔离文件。这种耦合引入了一种新风险:单条对抗性告警就可能经由 LLM 的推理形成一条远程代码执行路径,诱使其建议某项操作,随后由 SOC 执行。我们提出了一种包含两个协同层的受限动作架构:(i)SIEM/XDR 控制平面,以关联的主机事件为依据实施补救,并将 LLM 的输出限制在一个封闭的意图词汇表内;这些意图对应的模板化命令由轻量级端点代理执行,并由参数验证器提供兜底保障;(ii)NeMo-Guardrails 代理,通过输入和输出护栏策略包裹充当 SOC 分析员的 LLM,并使用我们发布的 SOC 专用对抗性语料库对其开箱即用的配置进行评估。原版代理在误报率为 0.1% 时,将注入检测召回率从 25.0% 提升至 94.5%;一次实战红队演练进一步证实,封闭的意图词汇表和参数验证器能够在任何命令跨越信任边界之前,遏制已观察到的 LLM 失效模式。从架构适配性来看(尚未在运营技术部署中进行实测),受限动作这一特性适用于关键基础设施场景,因为在这些场景中,错误的补救措施会造成物理后果,而不仅仅影响运行。该闭环最好采用人在回路或延迟执行方式:实测的护栏延迟使实时内联控制不在适用范围之内。