连续策略和值迭代：针对松弛随机控制问题及其收敛性
Continuous Policy and Value Iteration for Relaxed Stochastic Control Problems and Its Convergence
精选理由
提出基于朗之万动力学的连续策略价值迭代，兼顾理论收敛与复杂控制优化。
AI 摘要
arXiv:2506.08121v3 公告类型：replace-cross 摘要：我们提出了一种连续策略-值迭代算法，通过 Langevin 型动力学同时更新随机控制问题的值函数近似和最优控制。本文聚焦于无限时域下的熵正则化松弛控制问题。我们建立了策略改进机制，并证明了在 Hamiltonian 满足单调性条件时，该算法收敛于最优控制。通过利用 Langevin 型随机微分方程沿策略迭代方向进行连续更新，我们的方法能够使用机器学习中的分布采样技术，同时优化值函数并确定最优控制。我们针对具有非凹奖励的 LQ 模型以及具有偏斜 Laplace 最优控制的非 LQ 示例进行了数值实验。