TRIAGE：原生 NVFP4 强化学习的方向感知失配稳定化

arXiv:2610.07043v1 公告类型：新 摘要：低精度执行可以显著加速大语言模型的强化学习（RL），但学习器与采样器执行之间的差异可能使策略优化失稳。在本文中，我们刻画了失配与策略梯度方向之间的相互作用，区分出局部放大和收缩的更新贡献，而仅凭失配幅度无法识别这两类贡献。在原生 NVFP4 运行中，我们观察到两个放大区域在早期存在不平衡，负优势、负间隙更新占据主导。在失配扩散至全局之前，这些更新的尾部 token 已集中于少量响应片段中。受这些发现启发，我们提出 TRIAGE，一种方向感知的稳定化方法，通过片段级诊断有选择地重新平衡策略梯度更新，并对残余的严重失配实施有界修复。TRIAGE 修改了优化目标，同时在采样器和学习器上保留原生 NVFP4 权重与激活均为 4 位（W4A4）的前向执行。在 Qwen3-4B 和 Qwen3-30B-A3B 上的实验表明，在评估的整个训练阶段内优化均保持稳定，并在五个数学推理基准上达到全精度水平的性能；同时，配合 TRIAGE 的原生 NVFP4 相比 BF16 可将 rollout 吞吐量提高最多 2.3 倍。