局部稀疏性助力无监督 LLM 安全检测

大型语言模型（LLM）的部署时安全方法主要采用监督式方法，并假设能够获取不安全训练数据。然而，新的攻击方式和危害类别不断出现，经过此类监督方式训练的模型无法涵盖这些情况。另一种方法是从异常检测的角度来看待这一问题，即仅对安全数据进行建模，并标记分布外输入。然而，LLM 的激活值位于高维空间中，这引发了人们对异常检测在统计学上是否可行的担忧。我们证明，在​​线性表征假设（LRH）下，这一问题确实可能存在解决希望。在通常通过稀疏自编码器（SAE）恢复的 LRH 概念空间中，邻近点共享一个较小的共同活跃支持集。基于这一局部稀疏性洞见，我们提出了一种基于局部掩码 SAE 的异常检测框架，并为其提供了理论依据。我们在多种架构和数据集上对该方法进行了验证，其中包括能力测试数据集和专门的安全数据集。最后，当允许算法使用 1% 的分布外数据进行校准时，局部稀疏方法达到了接近最优的性能，表明其能够仅使用 1–2% 的 SAE 神经元进行计算，同时捕捉有意义的安全信息。