错误的投票，正确的梯度：为什么多数投票奖励能够追踪可验证强化学习

arXiv:2610.20898v1 公告类型：新 摘要：使用自生成标签的强化学习（例如对模型自身样本进行多数投票）往往能够获得使用可验证奖励训练时的大部分收益。从通常的提示级视角来看，这令人费解，因为多数投票只能返回模型的模态答案，无法增加关于答案是否正确的信息。我们认为，相关的基本单位是批次级更新。由于参数是共享的，在实际的批次大小下，一个提示自身的梯度对该提示输出变化的贡献不到1%，因此，错误标签只有在不同提示中的标签错误共享某个方向时才会产生影响。我们将多数投票更新相对于真实更新分解为收缩和误导两部分，并证明：只要不同提示中的错误彼此不一致，无论标签错误发生得多么频繁，误导都会随着批次大小的增加而消失。我们在五个模型上测量了逐响应梯度，发现多数投票错误的不一致程度与随机奖励零假设相当；多数投票更新与真实更新的一致程度，与两个相互独立的真实更新之间的一致程度相当；并且其与真实更新的经噪声校正余弦相似度在误差范围内为1。随机翻转最多30%的真实标签不会改变更新方向，而按照共享规则翻转相同比例的标签则会破坏更新方向；在每个提示上都偏好某类响应的奖励（例如学习得到的奖励模型）则在可测量程度上逊于前者。我们考察的每个检查点都成立这种等价性，但它具有局部性：在留出集的多数投票准确率上，真实奖励训练最终仍然领先。决定自生成标签何时可以替代验证的，不是错误率，而是错误的一致性。