DSReg：无需重构即可获得可证明的世界单个潜变量恢复

arXiv:2610.09457v1 公告类型：新论文 摘要：从非线性 ICA 到字典学习和因果表征学习，用于恢复世界单个潜变量的方法都通过重构、辅助监督或非高斯性等分布不对称性，将潜变量与观测锚定。不使用这些锚定机制的方法，包括联合嵌入预测架构（JEPAs），只能在相差一个线性变换的意义下辨识潜在状态，因此各个潜变量仍处于混合状态。我们填补了这一空白：无需重构、解码器或标签，即可获得可证明的世界单个潜变量恢复。关键条件是结构多样性：不同潜变量在观测上留下不同的依赖关系印记，正如没有两片雪花完全相同。基于 LeJEPA 提供的线性可辨识性，我们证明，在结构多样性条件下，DSReg（依赖稀疏性正则化）无需重构或解码器，即可在允许符号翻转和排列的意义下恢复世界的各个潜变量。它可以事后应用于任何已实现线性辨识的表征，复用训练好的检查点且相较于联合训练没有性能损失，并由此构建出首个能够恢复世界中每个潜变量的完全可辨识 JEPA。此外，作为针对依赖关系印记的条件，结构多样性严格弱于以往可辨识潜变量模型的所有结构条件。在合成实验设置、世界模型探测、学习得到的视觉编码器和外部渲染器上，DSReg 在保持密集预测能力的同时，随着规模扩大，改善了单个潜变量的恢复及其下游应用效果。