RoboJEPA：机器人潜在世界模型的规模化扩展

潜在世界模型在预测未来状态和现实世界规划方面展现出了卓越能力。然而，在实践中，我们缺乏一种有理论依据的方法，来估计其能力如何随模型规模、数据量和计算量的增加而变化；这一悬而未决的问题拖慢了该领域的进展。在本研究中，我们提出 RoboJEPA，这是一种基于 Joint Embedding Predictive Architecture（JEPA）的世界模型，使用涵盖 12 种机器人具身形态的大规模数据集进行训练。我们发现，RoboJEPA 的想象误差，即其潜在空间滚动预测的误差，随计算量的变化遵循二阶幂律，因此我们能够预测远超该定律拟合所用规模的模型质量。我们进一步表明，下游机器人规划性能随计算量的增加而以可预测的方式提升，且想象误差与该性能高度相关，因此可作为真实机器人评估的可靠替代指标。最后，我们展示了潜在世界模型可以零样本方式部署为机器人智能体，以单张目标图像为导向进行规划，在真实硬件上解决需要长时域规划的任务。我们公开了所有模型检查点，以及训练和机器人部署代码。据我们所知，这是首项为使用真实机器人数据训练的多具身机器人世界模型建立缩放定律的研究；而拥有 80 亿参数的 RoboJEPA 是迄今为止训练过的最大的 JEPA 预测器模型。