RAISED：通过自蒸馏提升 LLM 智能体对提示词注入的鲁棒性

arXiv:2610.06401v2 公告类型：replace-cross 摘要：使用工具的语言模型智能体容易受到间接提示词注入的攻击，因为它们必须处理不受信任的外部内容。现有的训练时防御方法可以降低攻击成功率，但通常会牺牲通用能力。我们发现，基于训练的防御方法会导致模型输出分布发生显著偏移，即使在良性场景下也会改变模型行为，并可能因此降低实用性。我们进一步发现了这类防御方法的一种失效模式：在良性的工具使用任务中，模型会避免执行完成已授权任务所需的某个步骤，尤其是在该步骤由工具输出指示时。为解决这些局限，我们提出 RAISED（通过自蒸馏实现鲁棒攻击不变性），一种结合自生成与自蒸馏的训练框架。模型首先自行生成工具使用场景，重点关注那些必须根据工具输出中的合法指引采取行动才能完成任务的情形。随后，通过自蒸馏，训练学生模型在同一轨迹的干净版本和注入版本上，匹配教师模型在干净上下文中的行为。与以往基于训练的防御方法不同，RAISED 在大幅降低工具响应中提示词注入攻击成功率的同时，还能在智能体基准和通用基准上保持实用性。