MAC-v2：基于像素的长时域模型价值扩展

我们研究了长时域模型价值扩展能否成为基于像素的离线强化学习（RL）的有效框架。与基于状态的环境相比，基于像素的长时域模型价值扩展要困难得多，因为智能体必须同时学习表征及其动态变化，而两者中任一环节的误差都可能沿想象轨迹递归累积。我们提出了 MAC-v2，通过结合动作分块训练无需重建的潜在世界模型，实现基于像素的长时域模型价值扩展。通过利用预测目标和控制目标学习表征，MAC-v2 无需编码与控制无关、且可能妨碍动态预测的视觉细节。动作分块通过减少价值扩展所需的递归模型预测次数，进一步缓解预测误差。在包括视觉版 OGBench、MMBench2、Robomimic 和 LIBERO-10 在内的多种视觉基准上，与无模型和基于模型的离线 RL 基线相比，MAC-v2 均表现出强劲性能。我们的分析表明，长时域模型价值扩展对 MAC-v2 的性能至关重要，而动作分块和潜在表征学习目标对于可靠的长时域潜在空间想象均不可或缺。