方差缩减策略梯度近乎极小极大最优

arXiv:2610.13692v1 公告类型：新论文 摘要：标准策略梯度（PG）算法依赖蒙特卡洛更新，因此存在估计方差较高的问题。尽管离策略方差缩减能够缓解这一问题，但目前要确立最优样本复杂度，仍需要重要性权重一致有界等限制性假设，或不切实际的二阶运算。在本研究中，我们提出 Loopless Variance-Reduced PG（LVR-PG），这是一个统一的理论框架，对一类将递归更新与防御性重要性采样相结合的一阶估计器进行了抽象，其中包括 PAGE-PG 和 STORM-PG 等已有估计器。我们证明，对于一般参数化策略，在弱梯度支配条件下，这类算法能够以 $\tilde{\mathcal{O}}(\epsilon^{-2})$ 的样本复杂度实现最后一次迭代的全局收敛。我们仅使用一阶更新，在极少的假设下且不使用梯度预条件器，便确立了这一保证。通过将当前最先进的下界扩展至连续参数化策略，我们确立了 $\Omega(\epsilon^{-2})$ 的样本复杂度下限，证实我们的框架在忽略对数因子和时间跨度项后具有极小极大最优性。