局部稀疏性使无监督 LLM 安全检测成为可能

arXiv:2609.20129v2 公告类型：替换 摘要：大型语言模型（LLM）在部署阶段采用的安全方法主要是监督式方法，并假设能够获取不安全的训练数据。然而，新的攻击和危害类别不断出现，而以这种监督方式训练的模型无法涵盖它们。另一种思路是从异常检测的视角看待这一问题，即仅依靠对安全数据建模来标记分布外输入。然而，LLM 的激活处于高维空间中，这引发了对异常检测在统计上是否可行的担忧。我们表明，在线性表示假设（LRH）下，这一方法确实可能有希望实现。在通常通过稀疏自编码器（SAE）恢复的 LRH 概念空间中，相邻点共享一个较小的活跃支撑集。基于这一局部稀疏性洞见，我们提出了一个基于 SAE 的局部掩码异常检测框架，并提供了理论依据。我们在多种架构和数据集上验证了该框架，包括能力测试数据集和安全专项数据集。最后，当允许算法使用 1% 的分布外数据进行校准时，局部稀疏方法取得了接近最优的性能，表明其仅使用 1–2% 的 SAE 神经元进行计算，就能捕捉有意义的安全信息。