单个策略还是多个策略用于阶段结构化强化学习？

arXiv:2610.03475v1 公告类型：新 摘要：许多强化学习（RL）问题具有非平稳性，但同时具备结构化特征，可以分解为多个阶段，每个阶段都有各自的转移概率和奖励函数。当阶段序列已知时，常见的解决方案是将相关信息添加到状态中，以满足马尔可夫性质，并应用标准强化学习技术。然而，已有研究发现，针对不同阶段采用多策略的方法，可能优于在各阶段之间共享的单个状态增强策略，其原因尚不明确。在本文中，我们首先证明，共享策略在理论上能够达到任何多策略解决方案的性能。然而，在实践中，多策略解决方案能否优于相应的单个共享策略，取决于函数近似、学习和优化过程；对于多策略解决方案而言，还取决于样本效率以及从一个策略切换到另一个策略时连续性的损失。我们提出了一种基于状态区间的阶段分解方法，用于确定哪种策略能够提供更好的性能。该方法基于对瞬态系统动态持续时间与准稳态时期持续时间相对关系的考量。我们针对不同的非平稳强化学习问题开展了数值实验，以验证四个主要假设：（a）更长的阶段持续时间有利于采用多策略；（b）阶段之间的异质性会增加单个策略的负担；（c）多策略需要每个阶段都有充足的数据；（d）环境特定的阶段间转移动力学会影响哪种策略更为合适。