面向层次化推理奖励的强化学习：基于 Transformer 的极小极大最优速率

arXiv:2610.08561v1 公告类型：新 摘要：强化学习（RL）已成为在推理任务上对语言模型进行后训练的标准工具。在这一过程中，策略通过奖励反馈进行更新，同时探索响应空间。尽管 RL 在实践中取得了成功，但人们对 RL 后训练的理论理解仍然有限，尤其不清楚为什么结合神经奖励模型的在策略探索会如此有效。本文通过将奖励建模为响应空间上的层次化函数来研究这一问题：奖励由无限多个局部成分组成，每个成分只有在前面的成分得到解决后才会变得相关。我们证明，一种自然的基于 Transformer 的演员—评论家算法能够达到查询预算和正则化强度方面的极小极大最优速率（相差至多对数因子），并且对于固定数量的提示词而言是极小极大最优的。该算法交替执行以下步骤：从当前 KL 正则化策略中采样、根据观测到的奖励拟合 Transformer 评论家，以及更新策略。相比之下，我们证明，从固定参考分布中采样（如离线奖励建模中所做的那样）可能会将遗憾的衰减限制为对数速率。这些结果表明，在策略探索会逐步聚焦于奖励集中的区域，并量化了其对 RL 后训练的益处。