用于离线强化学习的提升 Bellman 线性规划

离线强化学习（RL）通常通过最小化相对于自举价值目标的回归损失来训练 critic，而这些目标由采用指数移动平均（EMA）更新的 target networks 稳定。多步目标会纳入行为策略动作，因此需要离策略校正。我们转而通过不等式约束对 critic 施加样本内 Bellman 最优性。我们提出 Lifted Bellman Linear Program（LBLP），它将 Bellman 最优性的线性规划刻画提升到联合 $(Q,V)$ 空间，使每个约束仅涉及数据集中的状态-动作对。其唯一最小化解是样本内最优对，并且沿数据集轨迹的 $K$ 步片段施加约束时，对于任意 rollout policy 和 horizon，该最小化解保持不变。在确定性动力学下，该最小化解位于最佳数据集回报与最优价值之间。将这些约束松弛为 hinge penalties 后，在表格情形中，当惩罚系数超过某个有限值时可恢复相同解。Approximate Lifted Bellman Unconstrained Minimization（ALBUM）使用 neural networks 实现这种松弛，并通过 stop gradient 分离 $K$ 步 rollout 目标。其目标不包含针对自举目标的平方回归，因此可在没有 target networks 或 EMA 更新的情况下训练。在确定性动力学下，在一个与 $γ$ 和 $K$ 无关的系数条件下，LBLP 解是分离更新的一个驻点；并且这些不等式约束允许数据集轨迹上的折扣回报作为下界，而无需离策略校正或 action chunking。在 OGBench 上，ALBUM 使用单个 critic 和 Gaussian policy，达到与 FQL 相当的平均性能，并可与近期的 action-chunking 方法相比，同时在所有比较方法中使用最少的参数和最低的峰值 GPU 内存。