面向大型语言模型的安全推测解码

推测解码通过首先使用较小的模型（称为目标模型）生成候选词元，然后使用目标模型对其进行验证并接受或拒绝，从而加速大型语言模型（LLM）的推理。以往研究主要关注推测解码在效率与效用之间的权衡，例如有损推测解码，而其安全影响在很大程度上尚未得到探索。在本研究中，我们通过对推测解码安全影响开展首次系统性研究，弥合了这一空白。通过大规模测量研究，我们揭示了显著的安全性—效用不对称性：在广泛的有损推测解码方法中，推理效率的提升会以安全性的大幅下降为代价，越狱攻击和提示注入攻击的成功率增长速度远快于效用的下降速度。随后，我们提出了 SecureSD，一种由理论指导的新型推测解码方法，能够在保持效率和效用的同时增强安全性。具体而言，我们的理论分析表明，安全性下降主要源于推测模型生成的早期词元。基于这一洞见，SecureSD 对解码早期位置的推测模型词元采用更严格的验证标准。在安全性和效用基准上的大量实验表明，与现有推测解码方法相比，SecureSD 在保持效率和效用的同时，显著提升了安全性。