迈向最优策略改进

arXiv:2610.01566v1 公告类型：new 摘要：实用强化学习（RL）算法通过在近似评估的情况下迭代改进策略，学习解决马尔可夫决策过程（MDP）。我们从第一性原理出发研究策略改进，将最优策略改进定义为：在给定约束下，通过单次更新所能获得的最佳策略。我们证明，将最优改进限制在一组状态上，等价于求解一个诱导的MDP；这一结果刻画了利用显式或隐式模型进行规划，是实现最优策略改进的一条途径。由于实际方法通常通过以贪心化形式进行迭代改进来求解这类诱导问题，我们在近似评估这一核心实际约束下，探索实现最优贪心化的方法。我们将该约束下的贪心化形式化为不确定性下的概率决策，并推导出一个针对所得目标最优的新型算子。在涵盖离散和连续动作、基于模型和无模型、在线和离线RL的实验中，该算子及其实用的基于梯度的近似方法，在GumbelAlphaZero、SAC、ReBRAC和Generalized Policy Iteration中均提升了总体性能。