bf16 舍入悄然丢弃大多数 RL 策略更新：隐蔽的训练与推理不匹配，以及只需一行代码的无偏修复

arXiv:2610.41073v1 公告类型：新提交 摘要：语言模型的强化学习（RL）后训练在优化器中保留 fp32 主权重，并使用通过舍入到最近值转换得到的 bf16 副本生成采样轨迹。在常用学习率下，大多数单步更新小于 bf16 相邻可表示值间距的一半，因此会被转换过程丢弃：在 Qwen3-1.7B 上，每步仅有 0.4–0.5% 的推理用权重发生变化，生成训练数据的策略比优化器滞后 50–150 步。现有的不匹配校正方法无法察觉这种滞后，因为它们比较的是同一次舍入之后的两个副本。我们提出 Fair Cast：使用无偏舍入规则（随机舍入或误差反馈）导出主权重，并在推理用副本上计算训练损失。这项改动只需修改导出调用处的一行代码，不引入任何超参数，每次导出 17 亿参数的耗时为 22–38 毫秒。在使用 AdamW 和 Muon、模型规模涵盖 Qwen3-0.6B 至 4B 的 25 组匹配随机种子配对实验中，Fair Cast 在 18 组中领先、6 组中持平、1 组中落后，平均提升 6.1 分；在斑马谜题任务的四次运行中，其得分达到 0.57 ± 0.16，而舍入到最近值的方法则崩溃至 0.33 ± 0.10。它还使保存的 fp32 检查点与推理用模型保持一致，并揭示出舍入到最近值所引入的隐式滞后具有正则化作用，可在任务需要时显式恢复。