开放权重 LLM 中用于滥用检测的触发标签机制的脆弱性
The Fragility of Trigger-Tag Mechanisms for Misuse Detection in Open-Weight LLMs
精选理由
揭示开放权重模型触发标签易被攻击失效,为滥用检测设计与安全评估提供重要警示。
AI 摘要
arXiv:2610.03124v1 公告类型:cross 摘要:开放权重语言模型可以在其开发者控制范围之外被下载、修改和部署,这限制了由中心统一强制实施的安全防护措施的有效性。因此,近期研究提出了\emph{触发标签}机制:当模型在目标条件下使用时(例如生成网络钓鱼内容),该机制会产生可检测的信号。尽管这些机制借鉴了已有的成熟技术,但将其用于开放权重 LLM 的条件式滥用检测仍相对较新。因此,现有研究尚未系统考察触发标签机制在对抗性攻击下的稳健性。为弥补这一空白,(i)~我们对触发标签进行形式化定义,并区分了\emph{令牌级触发标签}与\emph{权重级触发标签}:前者在解码过程中引入受水印启发的信号,后者则学习目标条件与可检测模型行为之间受后门启发的关联。此外,(ii)~我们提出了\Untag,这是一个统一的攻击框架,将针对不同机制的攻击面组织到一个共同的分类体系中。我们以网络钓鱼为案例,评估了具有代表性的令牌级和权重级触发标签。我们发现,尽管触发标签在受控环境下可能提供有用的证据,但我们的攻击会使现有触发标签机制完全失效。因此,当攻击者能够转换输出或修改开放权重时,我们认为不应将这些机制视为稳健的滥用检测器。