稀疏自编码器中的表征再分配

arXiv:2610.21240v1 公告类型：新 摘要：稀疏自编码器（SAE）将语言模型激活分解为稀疏特征，但旨在保持底层请求不变的提示转换可能会在这些特征之间重新分配活动。在一个经过转换的提示上观察到的特征变化不一定会再次出现，而即使某种反复出现的变化确实存在，也不一定会影响下游计算。我们提出了再分配敏感性分数（RSS），用于识别以一致方向反复出现的大幅特征响应，并在未参与筛选的变体上评估由此得到的特征支持集。在涵盖八个语言模型的27个预训练SAE中，经过测试的提示转换在这些未参与筛选的变体上产生了可复现的再分配特征。随后，我们将反复出现的表征变化与有符号的读出贡献和决策失败区分开来。对于固定的线性读出，精确分解展示了响应幅度、读出系数、方向一致性以及干净边际如何共同决定下游后果。在两个冻结的安全读出中，将RSS支持集侵蚀与完整的干净边际相结合，仅使用中位数大小分别为20和19个特征的支持集，就能得到0.935和0.958的反复失败AUROC；相比之下，使用完整侵蚀时分别为0.965和0.964。因此，RSS提供了一种识别反复出现的稀疏表征变化并量化其对下游读出的贡献的方法，而不会将表征变化等同于失败。代码见 https://github.com/OpenSAE/Redistribution-Sensitivity-Score