具有学习型评论家和裁剪机制的 PPO 闭环非渐近收敛分析

arXiv:2610.10273v1 公告类型：新论文 摘要：尽管带裁剪的近端策略优化（PPO-Clip）已得到广泛应用，但其调参仍然困难，评论家学习、裁剪与轨迹复用之间的相互作用也尚未得到充分理解。我们将 PPO-Clip 视为一个\emph{闭环行动者—评论家}系统，并对其开展\emph{非渐近}分析。在明确的覆盖性与评论家正则性假设下，该分析使用原始 GAE 和蒙特卡洛评论家目标，涵盖了行动者—评论家耦合、非光滑概率比裁剪、有限批次复用以及可预测的提前停止。我们的同步与异步理论保证共同刻画了策略的平稳性和学习所得评论家的跟踪精度，并明确给出了它们对算法参数的依赖关系。一个充分的耦合条件为优化误差、评论家跟踪误差、裁剪误差和有限批次误差提供了共同的放大上界。异步结果还要求对评论家步长施加依赖于延迟的限制；违反这些条件并不能证明算法会发散。对于采用表格型评论家的有限分层 MDP，我们以实际裁剪梯度类的一致上界替代完整轨迹计数。一个经过验证的时域长度递增问题族具有多项式样本复杂度，而一种双时间尺度调度方案在明确核算新采样轨迹的情况下，给出了 $O(T^{-2/5})$ 的平稳性和评论家跟踪误差界。这些结果共同深化了我们对 PPO 的理解，并为调参提供了理论指导。