在提示注入防御面向用户之前进行审计：强大对手揭示了什么

arXiv:2505.15738v3 公告类型：替换并交叉列出 摘要：大型语言模型日益广泛地部署于面向用户的产品中，这些产品在处理敏感个人数据的同时，还会与不可信的外部内容交互。这使它们成为提示注入攻击的主要目标：攻击者在这些内容中注入恶意指令，以劫持模型。已有研究提出基于微调的防御方法，通过训练模型遵循正常的用户指令并忽略注入的指令，来缓解此类攻击。由于缺乏形式化保证，这些防御方法通常使用当时可获得的、最有效且符合现实条件的攻击进行实证评估，并往往报告接近零的攻击成功率。这给开发者及依赖他们的用户带来了虚假的安全感，同时仍存在一种可能：未来更强大的攻击可能绕过这些防御，并在广泛部署的系统中造成严重后果。本文主张，开发者应在发布前对防御措施进行压力测试，并提出了一个审计框架，使防御方无需自行发明下一种最先进的攻击方法，就能完成这项测试。我们的关键洞见是，微调过程本身会产生有用的产物：中间检查点可作为基于优化的攻击的跳板。尽管真实攻击者无法获取这些产物，但我们证明，它们暴露的漏洞是真实存在的，并且可被现实条件下的攻击者利用。通过使用 GCG 和 BEAST 等基于优化的攻击来具体实现这一框架，我们将针对最先进防御方法的攻击成功率从接近零提高至最高 96\%，揭示了以往评估遗漏的弱点。我们的结果表明，当前的评估实践可能大幅高估防御的鲁棒性，而在部署前使用强大对手审计防御措施，能够缩短反馈循环，并有助于防止攻击在现实世界中对用户造成伤害。