JEPA-TTT：用于动力学变化下规划的潜在世界模型持久化测试时训练

arXiv:2610.00722v1 发布类型：新 摘要：世界模型通过预测环境的未来状态，使智能体能够进行规划，但当测试时的动力学与训练期间所见的动力学不同时，其预测可能变得不可靠。我们提出 JEPA-TTT，在整个测试期间对预训练的、动作条件化的 Joint-Embedding Predictive Architecture 世界模型中的潜在动力学预测器进行适应。自监督更新会跨回合累积，同时视觉编码器和奖励头保持固定，从而保留预训练表示和任务目标。规划既不需要目标图像，也不需要在线环境奖励。JEPA-TTT 使用 dense replay，在每个时间偏移处构建预测窗口，将其保存在不断增长的缓冲区中，并从该缓冲区采样小批次来更新预测器。在四个连续控制环境中的八种动力学变化下，JEPA-TTT 在每一种变化上都提升了规划效果。经过 500 个测试时回合后，其将自回归潜在预测误差平均降低了 83%，并将规划性能较冻结的 JEPA 世界模型提升了 153%。这些结果表明，持久化的自监督测试时训练能够在动力学发生变化时适应预训练的潜在世界模型。