设备端语言模型安全性有多脆弱？面向稀疏故障分析的安全关键参数定位

arXiv:2610.09000v1 公告类型：cross 摘要：随着小型语言模型（SLM）越来越多地部署在资源受限和设备端平台上（包括作为智能体系统的组件），本地存储的模型参数完整性成为一个重要的安全问题。我们研究了 LLaMA-2-7B-Chat 中的安全敏感行为是否集中于一小部分稀疏参数，从而为定向分析创造更小的故障面。我们研究了两种互补的定位方法：低秩安全关联子空间分析，以及参数级安全性—实用性重要性筛选。两种方法都揭示出网络各部分的安全敏感性高度不均匀，其中 MLP down_proj 始终表现为突出​​的安全敏感组件，而 o_proj 的贡献较小。通过参数级定位，仅修改 down_proj 中 0.19% 的模型权重，即可实现 53% 的 Basic ASR 和 56% 的 GCG ASR，同时 tinyBenchmarks 准确率仍保持在 51.6%，而未修改模型的基线为 52.2%。这些结果表明，对于部署在资源受限、设备端和智能体环境中的语言模型，有必要开展定向故障分析并实施选择性完整性保护。