LoopAhead：通过前瞻推测加速循环语言模型解码

循环 Transformer 通过反复应用相同的 Transformer 层来提高参数效率。然而，生成每个词元仍需进行串行计算并反复访问模型权重，导致解码延迟较高。近期的流水线式自推测解码方法利用早期循环的预测生成草稿词元，并在同一批次内异步推进处于不同循环深度的词元，从而降低延迟，但这些方法未能充分利用早期循环特征实现更长距离的前瞻，且仍会耗费计算资源来验证错误的推测分支。我们提出了 \method，这是一种面向循环 Transformer 的推测解码框架，能够更早地生成未来词元的草稿，并为不同循环深度分配互补的角色。轻量级前瞻草稿生成器（LAD）利用早期循环状态预测多个未来词元，更深层循环的反馈则帮助决定哪些草稿分支应继续推进、哪些应暂停，而完整深度模型负责作出最终的词元决策。在保持目标模型输出分布不变的同时，LoopAhead 相较于自回归解码实现了最高 7.82 倍的解码加速。