StressDream：引导视频世界模型进行稳健的策略评估与改进

arXiv:2606.00267v2 公告类型：替换交叉版本 摘要：视频世界模型（WMs）能够根据自体机器人动作想象逼真的未来观测，因此在策略评估与改进方面展现出良好前景。尽管 WMs 可以对未来的分布进行建模，但策略评估与改进通常依赖名义想象；除非抽取数量多到难以承受的样本，否则这种方法可能会遗漏机器人动作所带来的高影响结果。为了实现基于 WM 想象的稳健策略评估与改进，我们提出了 StressDream。该方法通过优化基于扩散的 WMs 的初始噪声，将想象引导至在推理时指定的、影响大但合理可信的结果。然而，优化高维噪声颇具挑战：优化过程必须在生成视频中推理细微且依赖场景的目标事件，同时避免产生不合理想象的分布外（OOD）噪声。为此，我们采用了两个互补的目标：一是语义目标，借助视觉语言模型对生成视频进行推理，从而提供信息丰富的梯度；二是合理性目标，防止优化后的噪声偏离 OOD 区域。通过在自动驾驶和机器人操作领域使用最先进的视频世界模型，我们展示了 StressDream 能够有效地将想象引导至推理时通过文本指定的、影响大但合理可信的结果，例如任务失败；这使得稳健的策略评估与改进成为可能，因为它能够识别出其合理未来中包含不良结果的动作。视频结果见 https://stressdream.github.io/。