何时两个 SAE 潜变量代表同一特征？

arXiv:2611.05655v1 公告类型：新提交 摘要：比较稀疏自编码器（SAE）需要将特征对应关系、完整字典之间的差异以及有限评估数据带来的不确定性联系起来。我们提出了一个框架，通过指定相似性几何下的能量加权最优传输方案，将这些任务联系起来。同一传输方案定义了字典层面的差异度，将其分解为各潜变量的贡献，并量化每个潜变量的质量如何分配到其对应潜变量上。我们刻画了解码器相似性、激活相似性与一阶因果相似性之间的关系；理想化模型则阐明了拆分与吸收的含义。对于训练完成且固定的 SAE，我们推导了传输成本与传输比例的联合渐近推断方法，同时考虑了根据同一批文档估计的激活相似性及两侧能量边缘分布。文档级联合自助法可给出渐近有效的同时置信带。在四个语言模型上的实验定位了不同随机种子之间差异的来源，并区分出依赖上下文的变化。