Inside-JEPA：从预测到潜在世界模型中的关系落地

arXiv:2610.31194v1 公告类型：新论文 摘要：联合嵌入预测架构（JEPAs）在潜在空间中学习世界模型，从而实现高效规划，但其状态仍不透明。我们提出 Inside-JEPA，在 JEPA 的潜在状态中为有序实体对设置关系通道，并表明，当逆动力学头读取这些通道时，无论是单独读取还是作为完整状态的一部分读取，逆动力学损失都能在没有关系标签的情况下使这些通道获得关系语义。在 Something-Something V2 上，仅进行潜在预测的表现并不优于随机关系头，而通过通道变化恢复动作的逆动力学监督，在使用标注框的十种设置中使关系 AUROC 提升了 .065–.103，在包含留出任务的 RH20T 机器人交互片段上提升了 .081，在采用现成检测与跟踪方法的五种关系上提升了 .050–.061。作用于实体潜在表示的逆动力学头能更准确地解码动作，但几乎无法改善关系落地；打乱的标签、两种无标签目标，以及仅为 5% 的实体对提供动作标签，也都未能使这些通道获得关系语义。在给定动作的情况下，预测的关系变化接近实际观测到的未来关系的质量（AUROC 为 .599，对比 .621）。对于单步关系目标，对这 16 个通道进行有监督读出，可在 43% 的情况下将正确动作排入 65 个候选动作的前五名，而仅进行预测的潜在表示和频率先验的相应比例分别为 24% 和 17%。