用于通过 bandit 和 MCTS 改进正则化 RL 估计的推荐器遗憾
Recommender regret for improving regularised RL estimation with bandits and MCTS
精选理由
提出面向正则化强化学习的推荐遗憾理论，提升MCTS估计效率与下游决策表现。
AI 摘要
arXiv:2610.32910v1 公告类型：新 摘要：正则化强化学习（RL）算法依赖蒙特卡洛树搜索或一步前瞻等估计器，在训练和推理过程中提供策略、价值或 Q 值估计。然而，现有基于 bandit 的估计框架评估的是采样效率，而非估计质量。为此，我们将估计生成形式化为一个推荐过程，并将基于 bandit 的采样视为一种改进算子。为了评估推荐（估计）的质量，我们定义了正则器感知的推荐器遗憾，分析其下界，并证明均匀采样等简单算法可以达到这些下界。最后，我们在推荐器 MCTS 下统一了基于 bandit 和基于搜索的目标改进。在合成树、街机游戏和科学发现任务中，推荐器通常能更快地实现目标收敛，并取得更优的下游性能。我们的实验首次刻画了正则化 MCTS 在科学应用中的潜力。