用于目标条件强化学习的 World-Model Policy Arbiter

arXiv:2610.10932v1 发布类型：new 摘要：离线目标条件强化学习（GCRL）已经产生了多种多样的目标到达算法，但没有任何一种算法能够在不同环境、不同目标，甚至同一任务的不同阶段始终表现最佳。我们不再只部署性能最佳的策略，而是探讨能否将一组冻结的目标条件策略作为一个策略组合共同使用，并在每个状态决定由哪个策略执行。如何在每个状态选择策略并不简单：这些策略自身的价值函数无法直接比较，因为它们可能使用不同的尺度，而且有些策略没有价值函数。我们需要根据每个策略可能到达的状态来评估它，即使我们每次只能执行一个策略。同时，我们还需要避免频繁切换策略导致控制不稳定。为应对这些挑战，我们提出 World-Model Policy Arbiter（WMPA），这是一个测试时框架。给定一组冻结策略后，该框架在学习到的状态空间世界模型中分别展开每个冻结策略，使用共享的目标条件价值函数评估想象中的未来，并执行得分最高的策略一小段固定时长，然后进入下一轮仲裁（策略选择）。WMPA 假设可以获取一组冻结的目标条件策略，但不需要重新训练策略，也不需要特权性的任务特定知识。在官方 OGBench 评测协议下，针对涵盖迷宫导航以及立方体、场景和拼图操作的 18 个基于状态的数据集，WMPA 将宏平均成功率从每个数据集选择最佳策略时的 44% 提升至 58%，并在 12 个数据集上取得了具有统计显著性的提升。其中，在 cube-double-play 上提升了 33 个百分点，在 scene-play 上提升了 36 个百分点。