RLVR 后训练期间的语言漂移

arXiv:2610.02015v1 公告类型：新 摘要：近年来，LLM 推理模型主要通过采用可验证奖励强化学习（RLVR）进行后训练这一范式取得了长足进展，使其能够完成极其复杂的任务。然而，随着能力不断提升，LLM 也越来越多地在其思维链（CoT）中表现出语言漂移的迹象：不寻常、不规范且看似毫无意义的语言使用。尽管这一现象已有充分记录，并且可能损害 CoT 的可监控性，但迄今为止，人们对语言漂移的成因仍知之甚少。在本文中，我们确定了语言漂移发生的条件：从理论上证明，RLVR 优化压力会导致无界的语言漂移，而监督微调则不会。随后，我们通过实验证明，语言漂移具体产生于在新颖推理任务上进行 RLVR 的过程中——也就是说，当目标行为无法从基础模型中诱导出来时。最后，我们证明，在不限制期望奖励的情况下，不可能约束语言漂移。这表明，在前沿水平的 RLVR 后训练期间，如果不牺牲性能，就无法提升 CoT 的可监控性。