基于标量伴随匹配的 Q-Learning

流策略能够捕捉丰富多样的动作分布，利用离策略强化学习对其进行微调，以实现超越示范的性能，正受到越来越多的关注。然而，依据学习得到的价值函数微调流策略并非易事，因为策略需要经过多个流步骤才能生成动作。伴随匹配通过将价值信息从最终动作反向传播至各个流步骤，为更新流模型本身提供了一种有理论依据的方法，但它要求在每一步中通过策略计算一次向量与雅可比矩阵的乘积，其计算成本随流步骤数量和策略规模的增加而增长。我们观察到，预训练流策略在批次上取平均后的速度雅可比矩阵，其数值主要集中在对角线上。受此发现启发，我们推导出一种闭式标量伴随量，利用流时间缩放最终动作处的价值梯度，从而免去逐步计算向量与雅可比矩阵乘积的需求。我们进一步发现，在采用标量伴随量时，控制评论家网络在策略生成动作处的价值估计尤为重要。基于这些发现，我们提出 Q-learning with Scalar Adjoint Matching（SQAM），将标量伴随量与针对这些动作的价值惩罚相结合。SQAM 的性能提升主要集中在 OGBench 中难度最高的四个领域，在每个领域中的成功率均比最强基线高出 18 至 35 个百分点。为检验 SQAM 是否适用于大型预训练策略，我们还在真实双臂机器人上微调了一个视觉-语言-动作策略。SQAM 在全部三项任务中的表现均优于监督微调。