LongPIBench：一个用于提示注入的长上下文基准

提示注入攻击在真实世界应用中对大型语言模型构成了严重的安全风险。然而，现有的提示注入基准主要关注短上下文输入，使得长上下文场景下的攻击与防御在很大程度上仍未被探索。这一缺口导致当前防御效果被显著高估。本文通过引入 LongPIBench 弥合这一差距：这是一个用于提示注入的长上下文基准，涵盖4种真实应用场景：论文同行评审、简历筛选、代码审查和邮件摘要。对于每种场景，我们都构建了一个合成数据集和一个真实世界数据集，上下文长度从数千到数万 token 不等。LongPIBench 上的评估结果揭示了提示注入防御在长上下文设置下的严重脆弱性：即使是简单的启发式提示注入攻击也能取得很高的成功率，并且经常绕过最先进的防御。我们希望 LongPIBench 能够作为一个实用基准，用于系统评估真实长上下文场景中的提示注入防御。