FERPO：前向熵正则化策略优化

arXiv:2610.02198v1 公告类型：新 摘要：连续控制在线强化学习的若干最先进方法利用学习得到的评论家对动作的梯度来改进策略。然而，评论家通常接受训练以预测回报，而准确的价值预测并不一定能产生准确的动作导数，从而可能导致不可靠的策略更新。我们提出 Forward Entropy-Regularized Policy Optimization（FERPO），这是一种在策略最大熵强化学习算法，通过使用评论家价值而不对评论家关于动作求导来执行策略改进。FERPO 从一个由熵和 Kullback-Leibler（KL）散度正则化的策略改进目标中推导出最优目标动作分布。随后，我们通过最小化前向 KL 目标，使 actor 拟合该目标分布；该目标使用从 rollout 策略中采样的动作，通过自归一化重要性采样（SNIS）进行估计。通过限制目标分布偏离 rollout 策略的程度，KL 正则化有助于使这些重要性权重保持良好的数值性质。与反向 KL 目标不同，后者可能偏向目标分布中的一部分模态，前向 KL 目标鼓励覆盖多个高价值模态，从而促进探索。在 MuJoCo Playground 和 ManiSkill 上进行的实验与消融研究表明，FERPO 具有具有竞争力的性能，并能提升样本效率。计算基准测试还表明，其 actor 更新速度快于 Relative Entropy Pathwise Policy Optimization（REPPO）。