VPFlow：使用不完美世界模型进行价值预测规划以实现离线目标达成

arXiv:2610.27280v1 公告类型：新 摘要：离线目标条件强化学习无需稠密奖励，只要从任意状态到达任意目标即可实现技能习得。基于模型的方法通过扩展测试时计算量进行规划，从而解决复杂任务。将二者结合起来，有望利用次优示范进行预训练，并通过目标指定与规划实现零样本适应。然而，现有方法假设，有效规划需要在像素空间或潜空间中准确预测下一状态。在本文中，我们表明，价值预测对规划更有用，而准确的状态预测往往并非必要。我们的关键洞见是，离线目标达成天然具有闭式蒙特卡洛回报，因此可以用价值回归替代时序差分自举。我们将该回报作为潜在世界模型的唯一监督信号：训练想象出的潜变量来预测目标达成价值，而不是匹配未来状态，从而隐式避免表示坍缩。这些面向规划的表示使不完美世界模型能够在价值场的等值集上进行想象，超越数据集中的状态转移。随后，我们提出VPFlow，这是一种将世界模型与单步流策略相结合的价值预测规划器，并通过进化搜索在其噪声空间中进行规划。它利用想象得到的广义优势实现策略改进，并减少动作空间规划中常见的分布外查询。在30个状态和像素OGBench数据集上，VPFlow的成功率分别至少比无模型基线高出30.3和10.1个百分点，并且优于潜规划器LeWorldModel、PLDM和TD-MPC2。尽管其潜变量预测误差比状态预测时大数个数量级，VPFlow仍取得了这些效果；而降低该误差反而会使成功率下降。这表明，离线规划所需要的是价值预测表示，而不是精确的状态预测。