在部分可观测强化学习中，训练循环网络重要吗？
Does Learning Recurrent Networks Matter in Partially Observable RL?
精选理由
研究发现，冻结循环网络也能有效处理长时记忆与部分可观测任务，为强化学习提供更省参数的方案。
AI 摘要
arXiv:2610.13197v1 公告类型：新论文 摘要：部分可观测条件下的强化学习（RL）通常依赖循环网络来编码时序信息，并将循环模块与策略或价值函数联合训练。这引出了一个自然的问题：训练循环网络真的有必要吗？本文研究冻结的循环网络能否提供足够的记忆，以求解部分可观测马尔可夫决策过程（POMDP）。受储备池计算（RC）和广义储备池计算（GRC）理论基础的启发，我们研究了一种简单架构，将固定的循环网络与可训练的非线性输出模块相结合。我们在记忆需求、观测模态和动作空间各异的任务上评估了这种方法。令人惊讶的是，冻结的循环网络能够回忆数百个时间步之前的信息，并在多种 POMDP 中取得具有竞争力的控制性能，而所需的可训练参数数量不到对应的全可训练网络的一半。这些结果表明，求解 POMDP 并不总是需要训练循环记忆模块。因此，冻结的循环网络为部分可观测强化学习提供了一种简单、参数高效且表现出乎意料地强劲的基线。我们的源代码已发布于 https://github.com/Aphlios/FRN-POMDP