在潜在世界模型中学习内在动力学

学习内在动力学——即动作与其后果之间的关系——对世界模型至关重要。然而，与底层控制过程无关的视觉变化可能会在学得的表示中掩盖这种关系。我们研究了动作可预测性与内在动力学保留之间的联系，其中动作可预测性定义为从连续潜在状态中重建动作的能力。我们的核心假设是，鼓励动作可预测性能够抑制表示丢弃不同动作及其后果之间的区别。我们提供了两种互补的证据来支持这一联系。在理论上，我们推导出：当编码器将相同状态和外观下不同动作产生的可区分结果合并时，逆向预测的平方误差存在一个正下界；同时证明，在这些状态转移上，前向预测仍然可以完全准确。在实证方面，受控的外观多样性比较、监督干预和潜在空间探测均支持动作预测在保留与控制相关的状态转移信息方面的作用。我们通过 Concat IDM 实现动作可预测性：该模型根据拼接的潜在状态预测动作，并使用离线轨迹中已有的动作标签更新共享编码器，而不改变测试时的规划器。在具有 24 种外观的 Push-T 上进行的三次独立训练中，Concat IDM 将规划成功率从 9.1% 提升至 77.2%；其配对比较中的提升幅度比单一外观条件下观察到的提升幅度高出 52.9 个百分点。总体而言，这些发现支持将动作可预测性作为一种有助于学习内在动力学的归纳偏置，并展示了 Concat IDM 在视觉多样性条件下进行潜在空间规划的实际益处。