同样的答案，新盒子：RLVR 的域外增益有多少来自答案格式？

arXiv:2610.20639v1 发布类型：新 摘要：可验证奖励强化学习（RLVR）被认为能带来超出其奖励所检验领域的增益，例如在数学训练后提高 MMLU 准确率。这类准确率通常由答案提取器从模型文本中读出。因此，只要学会把答案写在提取器查找的位置，模型就可能获得更高分数，而并没有更好地作答。我们测量了公开代码中复制的提取器所报告的增益有多少源于这种因素。我们从一个基础模型及其 RL 模型生成输出，并用两种方式对其评分：一是使用这些提取器，二是使用我们自己的一种提取器，无论答案是在答案框 \boxed{} 中还是在文本中，该提取器都会读取明确写出的答案。在四组已发布的 7B SimpleRL 基础模型与 RL 模型配对中，这些提取器所报告的域外选择题增益有 82% 在使用我们的提取器后消失：这体现的是答案格式的增益，而不是答案本身的增益。基础模型已经在文本中写出大部分答案，而 RL 将答案移入这些提取器优先查找的答案框中。使用独立 LLM 读者替代我们的提取器后，该比例为 77%。在提示词本身要求填写答案框的情况下，我们的提取器得到的比例为 79%。在使用另一种训练方法训练的 32B 模型配对中，报告的增益几乎没有来自格式：其基础模型在被要求时会将答案放入答案框，而其 RL 模型在未被要求时很少这样做。报告的增益部分取决于读取它的提取器；无需重新运行 RL，只需使用第二个提取器对已存储的输出重新评分，就能显示这种影响有多大。