AtomicRL：面向长时域机器人操作的原子强化学习

视觉-语言-动作（VLA）模型在机器人操作方面展现出良好前景，但仅依靠模仿学习（IL）通常难以掌握复杂的长时域技能。强化学习（RL）为进一步提升 VLA 策略提供了有效途径。然而，现有的 VLA-RL 方法通常受限于轨迹级稀疏奖励所导致的延迟且有偏的信用分配，而子任务掌握程度的不均衡则会形成瓶颈，限制整体性能。为应对这些挑战，我们提出了 AtomicRL，这是一种利用原子任务结构实现可靠信用分配和自适应探索的 RL 后训练框架。AtomicRL 引入了语义感知策略优化（SAPO），利用语义感知门控，限制失败原子子任务产生的 TD 残差跨越任务边界传播，从而减轻信用污染，同时保留子任务内的信用分配和值自举。此外，瓶颈自适应目标探索（BATE）根据各个原子子任务的掌握程度，动态协调任务采样与局部探索激励，将学习引导至尚存的瓶颈。最后，我们构建了 Real2Sim2Real 流程，将仿真中的在线 RL 与现实世界部署衔接起来，促进向实体机器人的实际迁移。在 LIBERO-LONG 上，AtomicRL 在两种 VLA 架构中相较于 PPO 分别取得了 3.6% 和 4.0% 的绝对性能提升。在 CALVIN ABC-D 上，相较于 PPO，其完整任务性能最高提升 9.5%。结合 Real2Sim2Real 流程后，AtomicRL 进一步使现实世界任务性能平均提升 21.3%。这些结果表明，AtomicRL 能够有效提升 VLA 策略在长时域任务中的学习效率和操作性能。