衡量并缓解 RLVR 中的解法模式坍缩

arXiv:2610.11064v1 公告类型：new 摘要：语言模型（LM）通常可以用不止一种方式回答同一个问题，但带可验证奖励的强化学习（RLVR）并不在意模型生成的是哪一种正确答案。无论一个解法是熟悉答案的第一千个副本，还是模型此前从未生成过的答案，它获得的奖励都相同。然而，在训练模型的过程中，让模型保留多个正确解法可能具有潜在价值。例如，多种模式可以为用户提供选择，并提供能够提升模型整体性能的问题求解策略。在本文中，我们介绍了 ModeBench，这是一个多解任务基准，其中验证器会同时返回答案是否正确以及所发现的模式。随后，我们使用 ModeBench 衡量 RLVR 后训练过程中解法多样性的变化。我们发现，即使准确率保持不变或有所提升，RLVR 后训练仍会将概率集中到更少的正确模式上；此外，前沿模型的概率分布本身也已经高度集中。接着，我们介绍了我们的方法 Re:Max：在重放缓冲区中为每个已发现的模式存储一个经过验证的示例，并对这些存储的模式进行均匀训练。因此，一个只被发现过一次的解法，与一个被反复发现的解法获得同等频率的训练。在三种模型规模、两种强化学习目标以及更具挑战性的任务构造中，重放机制既提升了策略成功的频率，也增加了策略能够成功采用的不同方式数量。