隐藏而非删除：网络如何抑制纠缠特征

通过线性投影运行的概念擦除方法假设特征占据可分离的子空间。我们表明，在密集叠加下，这一假设并不成立：当两个特征被迫形成共享单一子空间的对跖对时，最先进的线性擦除会同时破坏二者，而不只是目标特征。使用梯度下降训练的网络则以非线性方式解决这一问题，但并非一致地解决：它们会根据初始化收敛到两种不同的电路级解决方案之一，我们称之为 mirror 和 shadow 解决方案。我们将这种分岔映射为特征纠缠程度的函数，表明它反映的是一种稳定的吸引子结构，而非我们设置的人为产物，并使用有针对性的因果干预来证明，两种解决方案都会保留被擦除特征表征的大量可测痕迹，这些痕迹可通过单个标量补丁恢复，而无需任何进一步训练。这与近期在 LLM 遗忘中通过实证观察到的一种失效模式相呼应：抑制而非删除会使被遗忘的知识重新浮现；我们的结果为这种失效模式为何发生提供了一种机制性且经过因果验证的解释。