通过优势引导进行强化学习

arXiv:2610.19783v1 公告类型：新论文 摘要：强化学习（RL）有望学习到超越数据中所展示行为的策略。然而，在实践中，这类系统存在训练不稳定和对超参数敏感的问题。相比之下，监督学习提供了稳定且可扩展的训练目标，但从根本上受限于示范行为的质量。本文探讨能否采用一种像监督学习一样简单、稳定，同时又具有强化学习性能的方法来进行策略优化。遗憾的是，直接使用监督学习训练策略，并以未来奖励或优势为条件，通常不如专门的强化学习方法。我们提出了一种新的策略提取方法 Advantage Guidance，它保留了以优势为条件的简单监督学习结构，并通过有效的条件训练和采样过程中的对比式扩散引导，取得了优于以往强化学习方法的性能。我们表明，Advantage Guidance 能显著提升模型响应条件优势信号的能力，而采样过程中的对比式引导能够利用学到的优势条件策略，以 KL 正则化最优策略为目标。实证结果表明，在最优程度各异的数据集上，Advantage Guidance 在 26 项长时域、稀疏奖励任务中的表现显著优于此前最先进的强化学习方法。