粒子蒙特卡洛树搜索

arXiv:2605.08982v4 公告类型：替换 摘要：蒙特卡洛树搜索（MCTS）是强化学习中广泛用于策略改进和动作选择的方法。由于其顺序性和确定性，如何以有理论依据的方式利用并行计算扩展 MCTS 的运行时计算规模，仍是一项重大挑战。我们提出 Particle MCTS（PMCTS），这是一种适用于神经网络评估的并行 MCTS 算法，专为通过批量并行实现 GPU 加速而设计，同时保留了 MCTS 作为具有理论依据的近似策略改进方法的解释。实证结果表明，PMCTS 能够随并行计算资源的增加实现良好的扩展，并且在一系列常用的离散动作和连续动作基准任务中，始终优于流行的启发式基线方法，或取得与之相当的表现。这些任务包括国际象棋、19×19 围棋、9×9 围棋、Gardner 国际象棋、贪吃蛇、Brax 中的经典控制环境，以及 Sokoban 中的大语言模型推理。