潜在投影用于潜在规划

arXiv:2610.26979v1 公告类型：新 摘要：潜在世界模型使智能体能够在潜在空间中进行规划。规划器搜索使代价最小化的动作序列，而该代价通常是预测终端潜在表示与目标潜在表示之间的 $\ell_2$ 距离。然而，潜在表示中有一部分是噪声：在世界模型训练期间防止坍塌的正则化器，会促进不携带信号的方向上的方差。我们表明，同一个正则化器也为剪除潜在表示中的噪声提供了结构。SIGReg 在每个时间步将潜在边缘分布推向标准高斯分布；进一步假设潜在序列是一个 Gauss-Markov 过程，则其转移是线性的，且协方差由该映射本身确定，即 $z' \mid z \sim \mathcal{N}(Az,\, I - AA^\top)$。因此，拟合状态动力学 $A$ 就能以零额外成本得到协方差；在其特征基下，每个潜在方向都携带自身的不确定性。此外，将 $A$ 约束为正规矩阵，可以固定跨时间步的特征基。这样，一个特征基就能度量任意步数上的不确定性，并作为计算规划代价的稳定基。随后，我们将 $\ell_2$ 代价限制在状态动力学向前传递时不确定性最小的 $k$ 维子空间中。该修正是在事后进行的：编码器、预测器、rollout 和规划器均无需改动，只需拟合一个受约束的矩阵 $A$。我们在六个环境中进行了评估，并在 2D 导航任务 TwoRoom 和 PointMaze 上取得了显著提升；在更困难的规划设置下，相比直接使用 $\ell_2$ 代价，成功率最高提升了 +54.7 个百分点。代码可见于 https://github.com/yjang43/lp2】【。