序数信用分配：仅基于比较的多步强化学习

arXiv:2605.06375v2 公告类型：替换 摘要：策略梯度方法需要标量奖励，但对许多任务而言，没有任何公式能够准确刻画我们的目标，而判断两个结果中哪一个更好却很容易。我们研究多步任务中仅接收此类比较的强化学习，不使用奖励函数，也不使用奖励模型。多组轨迹从同一状态出发，根据每个动作的未来累积奖励与同一时间步其他轨迹的未来累积奖励之间的比较，为该动作分配信用。我们证明，期望更新等价于策略梯度，只是将未来累积奖励替换为其相对于该时刻仍在运行的轨迹群体的胜率，并按对手仍在运行的概率加权；在确定性环境中，该更新按真实价值对动作排序，且最优策略是稳定的，而在结果具有随机性的情况下，它更偏好获胜频率较高的动作，而非平均值较高的动作。结果接近持平时的标签噪声或位置偏差引起的标签噪声不会改变期望更新；只有还会颠倒明显优劣比较的噪声才会使信号减半。基于相同比较训练的评价器能够消除状态混杂，而不改变期望更新。在一项涵盖六个环境、每项论断使用十个随机种子的预注册研究中，相较于同等粒度的标量回报，使用比较未造成可检测的性能损失；基于相同比较学习奖励模型并未带来更好的表现；若将比较集中在少数时间点并进行所有两两比较，只需百分之十的比较量便已足够。使用真实 LLM 评判器时，比较判断的准确率比逐项评分高出 7—10 个百分点，而且评判器越强，这一差距越大。针对手写奖励遗漏的一项要求，使用 LLM 评判器进行端到端训练后，策略在全部五个随机种子下都满足了该要求，但成功着陆的频率远低于使用预言机比较时的水平，因为训练早期占主导的失败结果彼此接近，评判器对它们的判断接近随机猜测。比较方法未能缩小在 HalfCheetah 上与使用标量奖励的 PPO 之间的差距。