适配器丛林：拆分 RLVR 预算胜过集中使用

arXiv:2610.00991v1 公告类型：新 摘要：对采样补全结果进行多数投票是测试时扩展的主力，而带可验证奖励的强化学习（RLVR）则是提升每个补全结果质量的主力。标准流程将二者结合起来：先用 RLVR 训练一个策略，再对其进行多次采样并投票。我们表明，这种结合会造成信息损失。投票只能推翻投票者并不共同犯下的错误，而 RLVR 会使策略更加尖锐，从而让其样本越来越容易犯下相同的错误。在每种方法针对每道题都恰好生成 $160$ 个补全结果的情况下，在全部 RLVR 预算上训练单个 LoRA 适配器，会使我们测试的每个模型（$1.5$B–$8$B）的单样本准确率提升。然而，在四个模型中的三个模型上，其多数投票准确率反而低于未经训练的基础模型，最高低出 $4.8$ 个百分点。损失会在训练过程中不断累积：投票样本之间的错误相关性稳步上升，多数投票准确率会提前达到峰值，随后最多下降 $7.0$ 个百分点。造成这一现象的原因是集中，而不是 RLVR 本身。我们将相同的数据和训练预算拆分到 $K$ 个 LoRA 适配器上，每个适配器都在各自随机划分且互不重叠的数据子集上训练，并将所得结果称为适配器丛林。在全部 $16$ 种（模型，$K$）设置中，丛林的投票结果都优于经过完整训练的适配器；当 $K{\geq}4$ 时，其表现与基础模型的差距保持在 $0.8$ 个百分点以内，或高于基础模型。将单个适配器在较早阶段停止训练，使其训练步数等于丛林中某个成员的步数，是一种有力的对照；在较小的 $K$ 下，该对照与丛林表现相当。当 $K{\geq}8$ 时，丛林能够保留 RLVR 带来的更多单样本增益，并在八种设置中的六种里胜过这一对照。随着投票数量增加，集中所造成的代价也会扩大：从 $16$ 票增加到 $160$ 票时，丛林相对于完整训练适配器的领先优势从 $1.3$ 个百分点扩大到 $3.3$ 个百分点。当计划进行采样并投票时，RLVR 预算应当优先用于扩大广度，而不是加深单一模型的训练。