FERPO：前向熵正则化策略优化

连续控制中的若干最先进在线强化学习方法利用学习到的评论家对动作的梯度来改进策略。然而，评论家通常接受训练以预测回报，而准确的价值预测并不一定能产生准确的动作导数，这可能导致不可靠的策略更新。我们提出了 Forward Entropy-Regularized Policy Optimization（FERPO），一种在线最大熵强化学习算法。该算法利用评论家的价值进行策略改进，而无需对评论家关于动作求导。FERPO 从一个由熵和 Kullback-Leibler（KL）散度正则化的策略改进目标中推导出最优目标动作分布。随后，我们通过最小化前向 KL 目标，将演员拟合到该目标分布；该目标利用从 rollout 策略中采样的动作，并通过自归一化重要性采样（SNIS）进行估计。通过限制目标分布偏离 rollout 策略的程度，KL 正则化有助于使这些重要性权重保持良好的性质。与可能偏向目标分布部分模态的反向 KL 目标不同，前向 KL 目标鼓励覆盖多个高价值模态，从而促进探索。在 MuJoCo Playground 和 ManiSkill 上进行的实验与消融研究表明，该方法具有具有竞争力的性能和更高的样本效率。计算基准测试还表明，与 Relative Entropy Pathwise Policy Optimization（REPPO）相比，FERPO 能够更快地更新演员。