连续时间策略梯度：基于离散数据的收敛性分析与无模型算法
Continuous-Time Policy Gradient from Discrete Data: Convergence Analysis and Model-Free Algorithms
精选理由
打通离散数据与连续时间强化学习，提供收敛理论与可落地的无模型算法。
AI 摘要
arXiv:2610.28580v1 公告类型：新 摘要：连续时间强化学习旨在利用离散时刻采集的观测，在由随机微分方程驱动的未知动力学下寻找最优策略。我们构建了一个策略梯度框架，将严格的收敛性分析与离散数据学习相结合。首先，我们建立了性能差异引理，并推导出随机策略和参数化策略的策略梯度公式。随后，我们证明了熵正则化策略流向正则化最优解的指数收敛性。对于离散的参数化更新，我们推导出一个收敛界，明确区分评论家误差、策略回归误差和学习步长各自的贡献。为实现未知动力学下的学习，我们将该框架与 PhiBE 相结合，利用离散转移数据构建连续时间替代生成元。由此得到的同策略和异策略无模型演员-评论家算法保留了控制问题的连续时间结构。在熵正则化线性二次调节器和非线性轮式机器人上的数值实验表明，无论动力学已知还是由数据驱动，所提出的方法均具有良好的性能和稳定性。