当 AI 调查员无法信任其工具时：面向网络威胁调查的冲突感知证据验证

arXiv:2610.41191v1 公告类型：交叉发布 摘要：LLM 智能体越来越多地通过整合多个检测工具的输出来对安全告警进行分流，并隐含地将这些工具视为可信工具。不同于以往研究模型知识与其上下文之间冲突的工作，我们研究工具彼此之间的冲突：当这些机器生成的证据相互矛盾或出错时，会发生什么。在修正后的 CIC-IDS2017 数据集上，四个异构检测器输出标签和置信度；我们依据一个威胁模型对这些输出进行篡改，该模型改变了被篡改工具的数量、篡改的持续性，以及错误输出所附带的置信度。在参数规模从 3B 到 14B 的开放权重 LLM 上，不进行验证的调查员表现脆弱：四个检测器中仅有一个被篡改，就会使朴素方法的准确率降至 .50–.72；三个被篡改时，所有不进行验证的调查员的准确率都会降至 .13 或以下；即使只是未受篡改工具之间的正常分歧，也会导致它们在高达 63% 的流量上放弃判断。我们提出 Conflict-Aware Evidence Verification（CAV），它由已有组件构建而成：忽略所报告置信度的等权投票、证据冲突门控机制，以及检验领先候选项的独立最近邻信任检查。在测试前固定提示词后，CAV-LLM 在所有篡改条件下都优于朴素调查员（$p < 0.001$）；在三个检测器被篡改时，其准确率达到 .84–.88，而朴素调查员最高仅为 .08，同时仅对 0.4% 的未受污染流量调用 LLM。除非大多数工具都被篡改，否则固定验证规则的准确率与其相当或更高。当我们向独立通道本身引入噪声时，CAV 也会承袭其错误：当两个或更多工具被篡改时，它仍保持领先；但当至多一个工具被篡改时，将该通道作为额外投票者加入则表现更好。因此，验证将信任从工具转移到了检查机制，而后者也必须接受评估和保护。