使用标量伴随匹配的 Q-Learning

arXiv:2610.10437v1 公告类型：新摘要：流策略能够捕获丰富且多样的动作分布，利用离策略强化学习对其进行微调，以取得超越示范数据的表现，正受到越来越多的关注。然而，针对学习得到的价值函数对流策略进行微调并非易事，因为该策略需要经过多个流步骤才能生成动作。伴随匹配提供了一种有原则的方法：将价值信息从最终动作反向传播至每个流步骤，从而直接更新流模型本身；但它要求在每个步骤中计算策略的向量-雅可比积，其成本会随着流步骤数和策略规模的增加而增长。我们观察到，预训练流策略的批次平均速度雅可比矩阵，其数值主要集中在对角线上。受此启发，我们推导出一种闭式标量伴随：将最终动作处的价值梯度按流时间进行缩放，从而消除逐步计算向量-雅可比积的需求。我们进一步发现，在标量伴随下，控制策略生成动作处的 critic 价值尤为重要。基于这些发现，我们提出了 Q-learning with Scalar Adjoint Matching (SQAM)，将标量伴随与针对这些动作的价值惩罚相结合。SQAM 的优势主要集中在 OGBench 中最困难的四个领域，在每个领域中，其成功率均比该领域最强基线高出 18 至 35 个百分点。为检验 SQAM 能否扩展到大型预训练策略，我们还在一台真实的双臂机器人上对一个视觉-语言-动作策略进行了微调。在全部三个任务上，SQAM 的表现均优于监督微调。