基于不动点流匹配的强化学习

arXiv:2610.12848v1 公告类型：新投稿 摘要：在最大熵强化学习和行为约束强化学习（RL）中，最优策略由 Boltzmann 分布给出。从该分布中生成样本可能颇具挑战性，因为它通常复杂且具有多模态特征。尽管通过流匹配训练的流策略为表示此类分布提供了强大的框架，但传统上它们依赖训练数据，而在线 RL 中通常无法获得这些数据。为解决这一局限，我们提出不动点流匹配（FFM），一种用于在 RL 中训练和微调流策略的无数据方法。FFM 利用目标流恒等式，将演员更新表述为不动点迭代，并采用流匹配式回归目标，其中评论家对动作的梯度作为回归目标值。我们证明，最优策略是该迭代的一个不动点。通过广泛的实验，我们表明，FFM 能够在离线到在线的设置下有效微调预训练流策略，并能在在线 RL 中从零开始高效、准确地训练流策略。这些结果确立了不动点流匹配作为一种具有理论依据的方法的地位，使其无需训练数据即可学习表达能力强的基于流的策略。