成功条件化在策略优化中的收敛性
On the Convergence of Success Conditioning for Policy Optimization
精选理由
证明成功条件策略优化可收敛至最优，并给出不同场景下的收敛速率。
AI 摘要
arXiv:2610.03642v1 公告类型：新 摘要：成功条件化是一种用于改进随机环境中决策策略的方法；它通过提高采取能够带来成功结果的行动的概率来更新策略。成功条件化广泛应用于许多强化学习领域，但其极限行为和收敛速率尚未得到充分理解。在本文中，我们证明了成功条件化在一大类马尔可夫决策过程（MDP）上收敛到最优策略。我们还推导了若干常见设置下的收敛速率。对于折扣型 MDP，我们证明，经过 $\mathcal{O}(1/\varepsilon^p)$ 次迭代后，可以收敛到一个 $\varepsilon$-最优策略，其中指数 $p$ 取决于问题数据。对于单周期 MDP，在 $\mathcal{O}(\log(1/\varepsilon))$ 次迭代内即可得到这样的策略。