稀疏自编码器归因图由边际决定

基于稀疏自编码器（SAE）特征构建的归因图被用于预测消融的效果，并在不同训练随机种子之间进行比较。TopK SAE 在每个词元处保留最大的预激活值，而一个特征的边际是其预激活值与截断阈值之间的距离。在来自三个 Pythia 模型的五对公开 TopK SAE 上，将一个特征置零会在至少 74% 的情况下使下一层的某个特征越过截断阈值，而这些越界变化承载了响应的大部分能量。对于以三个缩放因子调整某个特征编码的覆写操作，基于操作前活跃特征构建的图，其相对误差中位数至少为 0.247。边际图以相同的计算成本，将一阶变化量加到每个预激活值上并重新排序，误差至多为 0.033。按中位数计，越界特征的解码变化范数至少是模型自身变化范数的 1.24 倍。在一个测试平台的不同随机种子之间，特征间的稀疏映射可解释一个图在其活跃特征上 85% 的能量；当另一个随机种子的图仅保留其自身的活跃特征时，这一比例降至 47%。本研究涉及的最大模型为 pythia-160m。