策略即数据：基于回放的策略对偶平均与优势回归

演员-评论家方法通过复用过往经验来提高样本效率。然而，历史数据通常被视为当前策略改进更新所使用的离策略样本。本文提出正则化对偶平均演员-评论家（Regularized Dual Averaging Actor Critic，RDA2C），为回放数据赋予了独特作用。在正则化对偶平均中，后续策略由累积的策略改进反馈决定，因此，历史优势估计会直接作用于演员目标，而不仅仅用于最近一次更新。RDA2C存储带有评论家估计优势标签的状态-动作样本，在聚合数据集上拟合对偶得分模型 $Z_θ$，并利用熵镜像映射，根据累积得分模型推导当前策略。通过这种方式，回放数据定义了一个经验对偶目标，策略则由该目标计算得到。为分析RDA2C，我们建立了有限时间价值差距分解，将正则化对偶平均项与陈旧回放监督拟合、评论家偏差、有限缓冲区方差和回放覆盖率所导致的误差区分开来，并说明了各项误差有界所需的假设。RDA2C接受来自任意评论家的优势标签。使用GAE标签时，在八个MuJoCo任务中的六个任务和十二个Atari游戏中的八个游戏上，RDA2C的表现优于PPO。在八个MuJoCo任务中的六个任务上，RDA2C也优于最接近的对偶平均基线AAPDA。使用双重-$Q$标签时，在批量大小和更新频率相同的情况下，RDA2C的表现与SAC相当。