MAC-v2：基于像素的长时域模型价值扩展

arXiv:2611.07245v1 公告类型：新论文 摘要：我们研究长时域模型价值扩展能否作为基于像素的离线强化学习（RL）的有效框架。相比基于状态的环境，从像素出发进行长时域模型价值扩展要困难得多，因为智能体必须同时学习表征及其动力学，而两者中的任何误差都可能沿想象轨迹递归累积。我们提出 MAC-v2，通过结合动作分块训练无需重建的潜在世界模型，实现从像素出发的长时域模型价值扩展。通过基于预测目标和控制目标学习表征，MAC-v2 无需编码与控制无关、可能妨碍动力学预测的视觉细节。动作分块通过减少价值扩展所需的递归模型预测次数，进一步减轻预测误差。在包括视觉版 OGBench、MMBench2、Robomimic 和 LIBERO-10 在内的多种视觉基准上，相较于无模型和基于模型的离线 RL 基线，MAC-v2 均取得了出色表现。我们的分析表明，长时域模型价值扩展对 MAC-v2 的性能至关重要，而动作分块和潜在表征学习目标对于可靠的长时域潜在空间想象都不可或缺。