面向大语言模型的安全推测解码

arXiv:2610.08678v1 公告类型：交叉发布 摘要：推测解码通过先使用一个较小的模型（称为\emph{草稿模型}）生成候选词元，再由目标模型验证这些词元并决定接受或拒绝，来加速大语言模型（LLM，称为\emph{目标模型}）的推理。以往研究主要关注推测解码的效率与效用之间的权衡，例如有损推测解码，而对其安全影响基本未作探索。在本研究中，我们通过开展针对推测解码安全影响的\emph{首项}系统性研究，填补了这一空白。通过大规模测量研究，我们揭示了显著的安全性与效用不对称现象：在广泛的有损推测解码方法中，推理效率的提升伴随着不成比例的高昂安全代价，越狱攻击和提示注入攻击的成功率上升速度远快于效用下降速度。随后，我们提出 SecureSD，这是一种新的理论指导型推测解码方法，能够在保持效率和效用的同时增强安全性。具体而言，我们的理论分析表明，安全性下降主要源于草稿模型生成的早期词元。基于这一发现，SecureSD 对处于早期解码位置的草稿模型词元采用更严格的验证标准。在安全性和效用基准上的广泛实验表明，与现有推测解码方法相比，SecureSD 在保持效率和效用的同时显著提升了安全性。