EfficientRollout：面向强化学习 Rollout 的系统感知自推测解码

arXiv:2606.18967v2 公告类型：替换 摘要：强化学习（RL）已成为大型语言模型（LLM）的代表性后训练范式，使模型具备强大的推理和智能体能力。然而，rollout 生成仍是延迟的主要瓶颈，因为自回归（AR）采样需要按顺序逐个解码响应，而少量长尾生成往往决定了整体完成时间。推测解码（SD）是一种成熟的固定 LLM 服务技术，通过快速生成草稿 token 并利用并行验证接受这些 token，在保持目标模型分布不变的同时降低延迟。然而，其实际加速效果无法直接迁移到 RL rollout 中，原因在于：（i）不断演化的目标策略会使任何固定草稿模型与策略输出分布之间的失配日益严重；（ii）在 rollout 解码过程中，有效批次大小会逐步缩小，使解码从计算受限转变为内存受限，此时并行验证能够利用未充分使用的计算资源。因此，加速 RL rollout 既需要一个能够适应演化策略下长序列、高温度生成的高效草稿模型，也需要系统感知地使用 SD，以避免在计算受限阶段进行推测。我们提出 EfficientRollout，一种面向系统感知的自 SD 框架，旨在解决 RL rollout 中的这一问题。EfficientRollout 从目标模型中生成量化草稿模型（即自推测解码），使其与不断演化的策略保持耦合，而无需单独进行草稿模型预训练或在线适配。此外，该方法将系统感知的 SD 开关策略与接受率感知的草稿长度自适应相协调，仅在有利的阶段启用推测，同时根据草稿模型质量的变化匹配草稿生成预算。与加速的 AR rollout 基线相比，EfficientRollout 可分别将 rollout 延迟和端到端延迟最多降低 24.2% 和 15.6%，同时保持最终模型质量。