停止探测，开始编码：为什么线性探针和稀疏自编码器无法实现组合泛化

arXiv:2603.28744v2 公告类型：替换 摘要：线性表征假说认为，神经网络激活将高级概念编码为线性混合。然而，在叠加表征下，这种编码是将高维概念空间投影到低维激活空间的过程，概念空间中的线性决策边界在投影后不一定仍保持线性。在这种情况下，采用逐样本迭代推断的经典稀疏编码方法可以利用压缩感知保证来恢复潜在因子。另一方面，稀疏自编码器（SAE）将稀疏推断摊销到一个固定编码器中，从而引入系统性差距。我们表明，这种摊销差距在不同训练集规模、潜在维度和稀疏度水平下持续存在，导致 SAE 在分布外（OOD）组合偏移下失效。通过分解这一失败过程的受控实验，我们确定字典学习才是限制因素，而非推断过程：SAE 学到的字典指向了显著错误的方向，即使在同一字典上用逐样本 FISTA 替代编码器，也无法弥合这一差距。一个神谕基线证明，在所有测试尺度上，只要拥有良好的字典，该问题都是可解的。我们的结果（包括使用真实 LLM 激活的实验，如 Pythia-70M 和 Gemma-2-2B）重新界定了 SAE 失败的性质：这不是推断问题，而是字典学习挑战；同时也表明，可扩展的字典学习是在叠加表征下实现稀疏推断的关键开放问题。