通过 Residual Latent Action 学习基于视觉特征的世界模型
Learning Visual Feature-Based World Models via Residual Latent Action
精选理由
用视觉特征残差学习高效世界模型，提升机器人策略训练效果，并大幅加速未来状态预测。
AI 摘要
arXiv:2605.07079v2 公告类型：replace-cross 摘要：世界模型根据观测和动作预测未来的状态转移。现有研究主要只关注图像生成。相比之下，基于视觉特征的世界模型预测未来的视觉特征，而非原始视频像素，提供了一种更高效且更不易产生幻觉的有前景的替代方案。然而，当前基于特征的方法依赖直接回归，这会在复杂交互中导致预测模糊或坍缩，而在高维特征空间中进行生成式建模仍然具有挑战性。在本研究中，我们发现，可以轻松地从 DINO 残差中学习一种新型潜在动作表示，我们将其称为 Residual Latent Action（RLA）。我们还表明，RLA 具有预测能力和泛化能力，并编码了时间演进信息。基于 RLA，我们提出了 RLA World Model（RLA-WM），通过流匹配预测 RLA 值。在仿真和真实世界数据集上，RLA-WM 的表现均优于最先进的基于特征的世界模型和视频扩散世界模型，同时速度比视频扩散快数个数量级。此外，我们开发了两种利用 RLA-WM 改进策略学习的机器人学习技术。第一种是采用 RLA 的极简世界动作模型，它从无动作标注的视频中学习，并提升了 VLA 在 LIBERO 和真实机器人上的表现。第二种是一个视觉强化学习框架，其训练完全在仅从离线视频中学习得到的世界模型内部进行，使用与视频对齐的奖励，无需任何在线交互。项目页面：https://mlzxy.github.io/rla-wm