SEAR：样本高效的动作分块强化学习

arXiv:2603.01891v3 公告类型：替换 摘要：动作分块能够改善长时程强化学习中的探索并加速价值传播，但在降低决策频率的情况下，将离策略方法直接应用于时间上扩展的动作空间，会抵消这些收益，导致样本效率低下。现有的在线动作分块方法通过计算成本高昂的仅评论家方法，或依赖离线数据来解决这些问题。我们提出 SEAR，这是一种样本高效的离策略算法，通过同时应对上述两项挑战，实现基于动作块的在线强化学习。为处理高维动作序列，SEAR 采用因果 Transformer 评论家，并使用多时域目标进行训练，为动作块的每个前缀提供训练信号，从而有效增加每个样本所提供的有用梯度。为恢复决策频率，SEAR 采用滚动时域和随机重规划，在确保状态覆盖均匀的同时，将大动作块的快速价值传播与小动作块的快速响应能力相结合。在具有挑战性的 Metaworld 操作任务上，SEAR 的表现优于包括 SimbaV2 在内的最先进在线强化学习方法。除在线强化学习外，将 SEAR 应用于离线到在线方法 QC，还能提升该方法在高难度 OGBench cube-triple 任务上的性能。