RLVR 中的验证器错误：奖励黑客、反馈的局限与选择性控制

在使用可验证奖励的强化学习（RLVR）中，不完美的验证器可能会奖励错误回答，从而产生奖励黑客的机会。我们使用带有固定验证器的梯度流，刻画了奖励上升而正确性下降的条件。随后我们表明，RLVR 期间可获得的观测通常不足以检测或识别被接受的错误，也不足以保证在不牺牲正确回答的情况下减少这些错误。为了解决这一局限，我们利用来自审计的关于正确性的额外反馈构造了一种校正方法。该校正实现了 \emph{选择性控制}：在当前策略下，只要它能够抵消由验证器奖励带来的向错误方向的压力，就会降低被接受错误的概率并提高正确回答的概率。使用对数线性和神经上下文老虎机以及语言模型进行的实验支持了该分析，并表明在部分审计下的选择性控制能够在提高正确性的同时减少被接受的错误。