TRACER：抵御间接提示注入的轨迹正则化训练

arXiv:2610.19133v1 公告类型：新论文 摘要：间接提示注入利用不可信的检索内容、工具输出或智能体消息，覆盖大语言模型的预期行为。我们表明，防御的鲁棒性取决于渠道：同一种攻击作为后续消息时的成功率为 18%，而置于检索上下文中时则为 53%。我们提出 TRACER（Trace-Regularized Adversarial Channel Exposure with Reward-shaping），这是一种渠道感知的对抗训练方法，通过对呈现封装形式进行采样，将以答案为锚点、以证据为门控的奖励与 ATRC 相结合；当注入无效时，ATRC 会使受攻击情况下的推理与干净证据对齐。在 GSM8K 上使用 Qwen2.5-3B-Instruct 时，TRACER 将 RAG 呈现形式下的攻击成功率（ASR）从 65.5% 降至 6.1%，同时将干净样本准确率保持在 78–82%。RAG 与工具渠道的联合训练在 3B 参数规模下实现了跨呈现形式 13.9% 的平均 ASR，而在 7B 参数规模下仅训练一个轮次即可达到 9.4%。这些结果表明，鲁棒的防御必须明确针对不同部署渠道开展训练和评估。