arXiv cs.AI精选78

LTBD:可学习的信任边界分隔符,用于防御提示注入

LTBD: Learnable Trust-Boundary Delimiters for Prompt Injection Defense

· 5天前

精选理由

新颖度 86 / 影响力 82,来自 arXiv cs.AI。

AI 摘要

大语言模型(LLMs)在复杂任务上表现出色,但仍极易受到提示注入攻击的影响:嵌入外部数据中的恶意指令可能覆盖用户意图。现有防御方法仍受限于需要对模型进行微调、易受自适应攻击影响,或依赖脆弱的手工设计提示。我们认为,这种脆弱性的一个根本原因在于缺乏对信任来源的明确表示。为此,我们提出可学习的信任边界分隔符(Learnable Trust-Boundary Delimiters,LTBD),这是一种轻量级防御方法,能够在保持LLM参数不变的同时,在输入中显式编码信任边界。LTBD使用少量可学习的分隔符来区分受信任的用户指令与不受信任的外部数据,使模型能够更好地遵循预期的信任层级。实验结果表明,LTBD显著优于推理时防御方法,并且与基于训练的方法相比具有竞争力,同时保持良性任务的实用性,仅引入可忽略的推理开销。具体而言,LTBD在AlpacaFarm上实现了0.00%的ASR,在TaskTracker上仅实现了0.11–0.19%的ASR。在自适应攻击下,LTBD同样保持有效;在这类攻击中,对手完全了解该防御机制,并明确尝试绕过它。

查看原文(arXiv cs.AI)