评估和提升大型语言模型对输入序列变化的鲁棒性

arXiv:2610.02432v1 公告类型：cross 摘要：生产系统中的大型语言模型（LLM）面临提示注入、木马（后门）以及对自动质量指标的操纵。本论文提出用于评估和提升LLM对对抗性输入序列变化鲁棒性的模型、方法和算法。我们提出 R_stab(f)，一种基于小幅输入扰动下逐步输出分布之间 Jensen-Shannon 散度的生成式鲁棒性指标。对于局部攻击，我们证明 V(h) <= 1 - R_class(h)，其中 R_class(h) 表示决策算子 h 在小幅扰动下保持其决策的概率。对于非局部攻击，我们提出一种经过校准的经验模型。针对 LLM-as-a-Judge 系统，我们开发了 ASA，这是一种自适应进化式黑盒攻击，其攻击成功率（ASR）最高可达 73.8%，在开放模型之间的迁移率最高可达 62.6%。在 Trojan Detection Challenge 2023 数据（Pythia-1.4B）上，替代触发器的 REASR 约为 0.99，而真实触发器的召回率约为 0.17，基线约为 0.14。在 SaTML CTF 2024 中，我们系统化总结了多层防御的四类绕过方法，将 ASR 从 90% 降至 15-25%。由 5-7 个异构模型组成的委员会将 Gemma-3-4B 的 ASR 降低 47-55 个百分点；使用 7 个模型时，ASR 降至 19.3%。针对基于 Model Context Protocol（MCP）的智能体系统，我们提出 AttestMCP，该方法使用受 HMAC 保护的数据包对工具调用进行证明认证，每次调用耗时低于 0.1 毫秒，并提出 Commit Boundary 隔离模式。在包含 847 个场景的 MCPBench 基准测试中，这些方法将平均 ASR 从 53.7% 降至 12.4%。相关方法已在 JudgeGuard 和 TrojanArmor 软件套件以及 MCPSec 模块中实现。