稀疏自编码器表示的行为组合性

arXiv:2610.21261v1 公告类型：新 摘要：稀疏自编码器（SAE）使用稀疏且线性解码的特征来表示模型激活，但这些特征在下游产生的影响未必能以加性方式组合。我们提出 SAE Additivity Residuals（SAR），用于衡量在选定交互阶数之上仍未得到解释的行为变化。在独立特征子集采样下，总体 SAR 恰好等于高于该阶数的交互项的归一化能量，并且能够界定最优低阶近似的联盟排序误差。为区分源于 SAE 表示本身的组合性与由下游计算诱导的组合性，我们将学习得到的 SAE 坐标与同一选定子空间的保和随机旋转进行比较；在全部 18 个模型和行为设置中，学习得到的坐标都表现出更低的一阶残差。然而，这些坐标并非完全具有加性：在每种设置中，成对项都能改善留出联盟的排序，并且优于使用随机选取的三阶项、参数量匹配的模型。在一项联合引导实验中，成对建模将秩保真度从 0.5874 提升至 0.7790，并将排序误差从 0.1444 降低至 0.0606。总体而言，这些结果表明，SAE 坐标能够支持相对更具组合性的行为描述；但要获得忠实的联合解释和干预，仍需考虑超越单个特征效应的交互作用。代码可见于 https://github.com/OpenSAE/SAE-Behavioral-Compositionality。