重新思考具有线性函数逼近的 Softmax 策略梯度的全局收敛性：多臂老虎机情形
Rethinking the Global Convergence of Softmax Policy Gradient with Linear Function Approximation: The Case of Multi-Armed Bandits
精选理由
揭示线性逼近并不妨碍Softmax策略梯度全局收敛，指导强化学习算法设计。
AI 摘要
arXiv:2505.03155v2 公告类型：替换 摘要：策略梯度（PG）方法在强化学习取得的实证成功中发挥了重要作用。为了处理大规模状态—动作空间，PG 方法通常与函数逼近结合使用。在这种设定下，对问题相关量进行建模时产生的逼近误差，是刻画 PG 方法全局收敛性的一个关键概念。我们研究采用线性函数逼近的 Softmax PG（记为 $\texttt{Lin-SPG}$），并证明，即使在老虎机设定下，逼近误差也与该算法的全局收敛性无关。因此，我们重新审视标准随机多臂老虎机问题中逼近误差的影响。首先，我们确定了能够保证 $\texttt{Lin-SPG}$ 渐近全局收敛的策略特征表示所需满足的条件。在这些特征条件下，我们进一步证明，采用问题特定学习率的 $\texttt{Lin-SPG}$ 经过 $T$ 次迭代后，能够以 $O(1/T)$ 的速率收敛到最优策略。此外，我们证明，采用任意常数学习率的 $\texttt{Lin-SPG}$ 也能保证渐近收敛到最优策略。