arXiv cs.AI精选86

预填充推理通道:针对推理型 LLM 的输出前缀攻击

Prefilling the Reasoning Channel: Output-Prefix Attacks on Reasoning LLMs

· 19天前

精选理由

揭示输出前缀可联动推理注入,显著提升模型越狱风险,为推理模型安全防护提供依据。

AI 摘要

大型语言模型(LLM)接收并生成单一文本序列;因此,如果可以在 LLM 响应的开头添加文本,即输出前缀,那么后续所有 token 都将以此为条件。输出前缀攻击技术是一种成本低廉的黑盒提示注入方法。先前研究表明,这类攻击能够稳定地令非推理模型越狱。大多数推理模型会在助手的最终响应之前,增加一个中间的草稿推理步骤。一些 API 暴露了编辑这一推理通道的能力,攻击者可以利用某些攻击向量发起推理注入攻击。我们开展了首项系统且受控的研究,将草稿推理通道单独作为输出前缀攻击向量进行分析;同时也是首项在推理过程公开和隐藏的模型中,对仅推理、仅输出前缀以及推理加输出前缀三类攻击进行比较的研究。我们采用 3 种前缀类型 × 2 种推理注入的析因设计,在从 AdvBench 抽取的 1,800 个测试案例上,对三个 2026 年前沿模型 Gemini 3 Flash Preview、DeepSeek V4 Flash 和 Claude Haiku 4.5 发起攻击。我们发现,单独注入恶意推理基本不起作用(攻击成功率约为 0%);但将相同的推理与一个简单的输出前缀一同注入后,在某些模型上可将攻击成功率提升至最高 99%。对于这类攻击,我们发现上下文前缀的效果优于静态前缀;此外,模型是否容易受到攻击取决于具体模型。

查看原文(arXiv cs.AI)