arXiv cs.LG精选78

意图隐藏型越狱:组合式攻击的信息论框架

Intent-Hiding Jailbreaks: An Information-Theoretic Framework for Compositional Attacks

· 9天前

精选理由

从信息论角度揭示组合式越狱的意图隐藏机制,为评估与防御大模型安全风险提供方法。

AI 摘要

arXiv:2610.02302v1 公告类型:交叉 摘要:近期研究表明,大语言模型(LLM)可能容易受到越狱攻击的影响;在这类攻击中,有害意图通过与良性任务组合而被隐藏。一个单独提出时会被拒绝的有害请求,在嵌入一个看似良性的更大查询后,可能会引发不同的响应。我们从信息论角度研究这类组合式意图隐藏型越狱。我们的形式化方法为每项任务关联一个被判定为有害的估计概率:在完整任务集合上的平均值定义了有害意图的先验概率,而在包含目标任务的选定任务包上的平均值定义了后验概率。选择辅助任务,使这两个平均值一致——我们称之为先验—后验匹配——可以在有害目标仍然处于任务包中的情况下,使估计意图保持不变。我们研究了两种设置,其区别在于查询构造是否属于优化过程的一部分。在查询无关设置中,任务的选择不考虑它们将在最终查询中如何表达。我们证明,在任务包大小约束下实现精确的先验—后验匹配在计算上是困难的;针对分数权重,我们推导出一个最优的水位填充解,并刻画满足预设安全阈值的最小任务包。在查询相关设置中,任务选择与查询构造被联合考虑,并在最终生成的查询上评估意图隐藏和目标保留效果。我们针对不同任务包大小、查询生成器和多个开源模型,评估了越狱有效性以及目标行为的保留情况。结果表明,在所评估的搜索预算下,组合式查询能够诱发超出直接请求基线的目标行为;同时也揭示了一种权衡:随着任务包大小增加,对于若干模型而言,响应层面的目标保留率往往会下降。

查看原文(arXiv cs.LG)