再给草稿模型一次猜测机会：用于推测解码的并行重新考量

arXiv:2611.05724v1 公告类型：新提交 摘要：推测解码利用小型草稿模型加速大语言模型推理，其每次猜测的接受率决定了可实现的加速幅度。特征级草稿模型采用一种共同的设计：无论词元难易，都仅通过一次前向传播生成草稿。目标模型拒绝的许多词元，恰恰是草稿模型自身也不确定、而目标模型却能明确作答的词元。为解决这一问题，我们提出 Parallel Reconsideration：草稿模型根据自身的不确定性，通过额外的前向传播重新考量那些犹豫不决的猜测；这些额外计算与单次前向传播的草稿生成并行运行，增加的延迟微乎其微。我们协同设计了训练方案和服务阶段的草稿生成算法，将重新考量后的猜测作为改进候选项添加到原始草稿树中。在多个模型和基准测试中，Parallel Reconsideration 相较于基线的平均接受长度提升了 5.3% 至 10.2%，加速比提升了 3.5% 至 9.2%。