Semigroup-JEPA：用于零样本物理泛化的潜在动力学一致性

Joint-Embedding Predictive Architecture (JEPA) 世界模型能够学习紧凑的世界潜在表征，以支持预测和规划，但其学习物理规律并生成符合物理现实的动力学的能力迄今尚未得到检验。在本文中，我们提出 SemiGroup-JEPA (SG-JEPA)，通过动作条件化将控制物理规律的参数提供给时间模型，并通过自回归潜在 rollout 联合训练编码器和预测器，从而扩展 LeWorldModel 框架。为了评估模型的分布外泛化能力，我们在不同重力场下设计了动力学任务。这些任务虽然遵循相同的物理定律，却呈现出定性上不同的动力学：从弱重力场中的漂浮运动，到强重力场中的快速弹跳。与 DINO-WM 相比，在二维数据集上，SG-JEPA 将开环预测误差最多降低至原来的二分之一；在三维机器人数据集上，控制成功率最高提升至 2.5 倍。对于后者，我们分别训练了独立的扩散策略。为解释这一优势，我们构建了一个线性特征模型，将局部物理定律条件误差与其在 rollout 过程中的递归放大区分开来。在该模型的指导下，我们发现，将多步 rollout 损失反向传播至表征，会训练编码器保留预测器能够向前传递的特征，而这些特征正是动力学所依赖的特征。因此，大部分性能增益来自编码器学习到更好的特征，而非预测器学习到更好的动力学。项目主页：https://sg-jepa.github.io。