面向扩散语言模型的在策略残差学习

arXiv:2610.20687v1 公告类型：新增 摘要：残差上下文通过在去噪步骤之间传递预测分布，是解锁扩散语言模型（DLM）速度-质量帕累托前沿的关键。然而，要将这一看似简单的机制转化为有效的学习范式却远非易事：目前尚无明确的方法来指导残差上下文的学习。我们提出 ORL，一种用于 DLM 在策略残差学习的框架。在算法层面，我们发现残差学习本质上是在线策略的。ORL 从模型诱导的残差轨迹中即时学习，并引入熵收缩目标，使模型在重新审视自身预测时不断锐化预测结果。在系统层面，精确的残差监督需要捕获、保留并重新处理大量依赖轨迹的状态。ORL 将算法与异步残差捕获和传输、专用块扩散注意力以及计算均衡的打包式训练协同设计，使其能够在大规模场景下实用运行。在由 Qwen3-4B 转换而来的 4B DLM 上，ORL 将每次前向传播生成的 token 数（TPF）最多提升 6.2 倍；借助我们的 dlmrt 引擎，在质量相当或更高的情况下，端到端吞吐量提升约 6.9 倍。在单张 H100 上的单请求服务中，该模式相比采用 EAGLE3 和 DFlash 推测解码的自回归模型，实现了更优的速度-质量帕累托前沿；在严格和宽松验证条件下均如此，并且在准确率相同的情况下比 DFlash 快 1.74 倍。ORL 还可迁移至现有 DLM：在 LLaDA-2.1-mini 上，仅使用 36 个 H100 小时和 420 万个模型自生成 token（约为此前 LLaDA 配方所需数据的十分之一），就在质量相当的情况下实现最高 1.5 倍的 TPF 提升和最高 3 倍的吞吐量提升；在 DiffusionGemma 上，ORL 将 TPF 提升 1.1–1.2 倍。结合 dlmrt 和 NVFP4 量化后，ORL 模型在质量相当的情况下，单个 B200 上单请求解码速度最高可达每秒 5,046 个 token，八个 B200 上可达 7,708 个 token，消费级 RTX 5090 上可达每秒 2,788 个 token。