Tree SAE：在稀疏自编码器中学习层次化特征结构

arXiv:2605.07922v3 公告类型：替换 摘要：在稀疏自编码器（SAE）中学习层次化特征，对于捕捉现实世界数据的结构化特性，以及缓解特征吸收或特征拆分等问题至关重要。现有研究试图在相互独立的特征集合中识别层次关系，其依据是激活覆盖率，即假设子特征只有在其父特征激活时才会激活。然而，我们证明仅凭这一条件是不充分的；换言之，它经常会产生假阳性，即父概念与子概念在语义上并不相关。为解决这一问题，我们提出一种新的重构条件，用于强化不同层次之间更深层的功能联系。通过结合激活约束与重构约束，我们提出了 Tree SAE，这是一种旨在直接从特征集合内部学习层次结构的模型。实验结果表明，在学习层次化特征对方面，Tree SAE 显著优于现有 SAE，同时在多个关键基准测试中保持了与最先进方法相当的性能。最后，我们展示了 Tree SAE 的实际应用价值：它能够描绘子特征子空间的几何结构，并揭示大语言模型内部编码的复杂层次化概念结构。