S$^3$R：通过自稀疏推测解码实现快速且忠实的强化学习轨迹生成

arXiv:2610.13202v1 公告类型：新投稿 摘要：在具有可验证奖励的长上下文强化学习（RLVR）中，快速生成轨迹需要在不改变用于策略优化的响应组的前提下，减少 KV 缓存访问流量。在我们进行性能剖析的 RLVR 工作负载中，注意力计算占自回归解码内核执行时间的 72--76\%。稀疏注意力可以减少这些读取操作，但直接从稀疏策略中采样会改变用于学习的响应组。对于组相对优化，我们证明，即使对每个响应进行精确的重新加权，通常也无法恢复稠密策略的期望更新，因为每个响应的优势取决于组内其他成员的奖励。我们提出了 Self-Sparse Speculative Rollouts（S$^3$R）。该方法使用稀疏注意力提出候选词元，再通过全注意力验证和精确推测采样生成响应。草拟与验证共享同一套策略参数，因此无需训练或更新单独的草拟模型。由此生成的响应组遵循稠密策略的分布。我们刻画了 S$^3$R 实现加速的条件，以及草拟和验证的成本。我们发现，稠密验证仍然需要完整的历史 KV 缓存。因此，具备 KV 感知能力的调度器会在保持轨迹生成并行度的同时，限制 KV 缓存的反复卸载与恢复。% 或抖动 在采用激进稀疏草拟预算的匹配消融实验中，S$^3$R 保持了稳定的训练，而采用训练端校正的直接稀疏采样则变得不稳定。在长上下文数学推理任务中，S$^3$R 在 Qwen3 模型上实现了自回归轨迹生成 $1.39\times~1.35\times$ 的端到端训练吞吐量，同时保持了相当的任务性能。