信赖域 Q Adjoint Matching

arXiv:2605.27079v2 发布类型：替换 摘要：预训练流策略的离策略强化学习仍然面临挑战，因为多步采样过程带来的优化不稳定性使其难以训练。近期，带 Adjoint Matching 的 Q-learning（QAM）将策略改进重新表述为由学习得到的评论家引导的随机最优控制（SOC）问题，从而解决了这一问题。然而，QAM 继承了评论家引导式策略改进的一个根本性脆弱点：微小的评论家误差可能被指数级放大，并经常导致性能崩溃。本文提出 Trust Region Q Adjoint Matching（TRQAM），这是一种稳定的离策略微调算法，通过投影对偶下降自适应地控制微调策略与预训练策略之间的路径空间 KL。具体而言，我们在流策略的采样过程中调整信赖域参数 $\lambda$，并证明 $\lambda$ 会在 SOC 目标中对路径空间 KL 进行精确加权。因此，我们的方法能够在预先设定的 KL 预算内严格控制策略偏离预训练策略的程度，从而实现稳定的离策略强化学习。在 50 个 OGBench 任务上的实验表明，TRQAM 在离线强化学习和离线到在线强化学习中均持续优于以往方法。特别是，TRQAM 在离线强化学习中取得了 68% 的总体成功率，显著高于最强基线的 46%。