MDP中的决策导向学习：一种基于占用度量的方法

arXiv:2610.08384v1 公告类型：新 摘要：本文研究马尔可夫决策过程（MDP）中的决策导向学习（DFL）。现有方法通过 Bellman 方程的 KKT 条件进行微分，并要求对所有状态—动作对求解线性系统，从而限制了其可扩展性。为此，我们将 MDP 重新表述为一个基于占用度量的线性规划（LP），其可行域由预测的动态模型诱导得到；通过利用枢轴算法识别可行多面体中的活跃约束，我们推导出了闭式梯度。基于占用度量的 LP 层带来了两个挑战：（1）当活跃约束发生变化时，LP 解的梯度不连续；（2）LP 的反向计算开销仍然随状态规模增长，对于大规模或连续状态空间而言代价高昂。针对这些挑战，我们采用增广拉格朗日替代方法，并通过对约束进行随机行草图化来平滑边界跳变；同时提出可学习的软状态聚合层及其函数逼近推广形式，使 LP 能够扩展到大规模有限状态和连续状态 MDP。在多个任务中，与基于 KKT 的 DFL 方法和两阶段基线方法相比，我们的方法以显著更低的计算成本实现了更低的遗憾。所有实验的源代码均可在 https://github.com/A-Eshragh/State_Aggregation_Project 获取。