通过逆动力学在 JEPA 世界模型中保留不稳定模态

arXiv:2610.07540v1 发布类型：新 摘要：机器人系统通常表现出不稳定模态，沿着这些模态，微小扰动和干扰会导致状态无限增长，除非通过反馈加以校正。从高维视觉观测中控制此类系统，需要能够保留这些模态的表征。联合嵌入预测架构（JEPAs）为从视觉数据中学习此类表征及其动力学提供了一个自然框架。然而，我们证明，仅结合抗坍塌正则化的下一步预测并不能保证保留可控的不稳定模态：即使这些模态发生坍塌，训练损失仍然可以被最小化，从而使得基于学习所得表征进行稳定化成为不可能。为解决这一问题，我们在世界模型训练中加入动作重构目标（即逆动力学损失），以鼓励具备控制感知能力的表征，也就是保留控制所需关键特征的视觉表征。我们证明，精确的动作重构会使编码器在有限时域可达子空间上具有单射性。因此，在 $H$ 步内通过动作序列可达的任何状态方向，编码器都无法将其丢弃。此外，我们还表明，随着 $H$ 增大，有限时域可控性 Gramian 的主导特征子空间会收敛到可控不稳定子空间。我们在线性系统中建立了理论结果，并通过实验表明，这些发现可以推广到非线性视觉控制任务（CartPole、Walker2D 和 PointMaze），凸显了控制感知表征学习的优势。