arXiv cs.AI精选75

作为集成的分层 LLM 防御:访问层级、推理成本,以及防御层之间测得的失败相关性

Layered LLM Defenses as an Ensemble: Access Tiers, Inference Cost, and the Measured Failure Correlation Between Defense Layers

· 46天前

精选理由

揭示多层LLM防御叠加失效,帮助评估真实安全收益

AI 摘要

实践者通过叠加防御来保护大型语言模型(LLMs),并假设这些层会相互叠加。一个堆栈就是一个集成,而集成只有在 LLM 安全文献建议却从未测量的一种条件下才会叠加增强:各成员必须在不同输入上失败。 两种工具使这种关系可测。Adversary Access-Tier Model (AATM) 按攻击者所拥有的访问权限对其分级,从仅系统访问(A0)到可影响训练数据(A4)。一种成本模型把防御分为五类推理时开销;由于其中两类需要训练权重或读取激活值,它就像 AATM 对攻击者分层那样,也对防御方分层。基于这些,我们推导出堆栈的行为,而防御者关心的量会分化:覆盖率在同一层级内趋于饱和,成本按类别上升,误拒作为并集累积,残余攻击成功率只有在独立性成立时才会乘性下降。 我们测量了这种独立性。在一个七层堆栈上运行单个自适应攻击者时,十五个可测配对的失败相关性均为正(φ 从 0.30 到 0.75),且联合残余值比乘性预测最高多出 0.172。按行为难度分层后,大部分关联消失,因此这种依赖主要源于共同原因,但它在置换推断、多数投票评分器标签以及外部校准阈值下仍然存在。同一套堆栈会拒绝五个良性提示中的四个,同时其表现与最强的单层防御在统计上无显著差异。 这种依赖是架构性的,而非基于采样的:各成员通过它们共同包裹的模型相关联,因此扩大成员池也无法削弱它。因而,多样性只能用于选择堆栈成员,却不能预测组装后的堆栈会交付什么结果;这一点必须端到端测量。

查看原文(arXiv cs.AI)