自适应多令牌预测：我们应该走多远？

多令牌预测（MTP）可以通过起草多个令牌并在一次目标模型前向计算中对其进行验证，从而加速语言模型解码。然而，最佳推测跨度会随上下文变化：当起草结果可靠时，更长的起草序列能够带来更高的摊销收益；但一旦发生拒绝，起草序列的后缀会被丢弃，从而浪费计算资源。不同于自回归起草可以通过停止规则逐个令牌地决定何时停止，MTP 必须在起草前确定跨度，因为所有头会在同一次前向计算中运行。因此，我们将跨度选择表述为一个在线控制问题，利用验证反馈学习在每种上下文中起草结果可以被信任到何种程度，并提出自适应多令牌预测（AMTP）：一种无需重新训练且不改变精确验证器的轻量级控制器。为指导跨度选择，我们通过接受存活率刻画每个跨度下预期提交的令牌数量，即起草前缀被完全接受的概率。在每轮开始前，AMTP 预测起草结果可能存活到的长度，并选择预期每秒令牌数最高的跨度，同时从每次验证过程中自由学习。理论上，我们证明，任意在线学习器的预测误差都会转化为相对于每种上下文最佳跨度的吞吐量遗憾，进而转化为对实际完成时间的界。采用在线梯度下降时，该遗憾是次线性的。在基于 Llama-3.1-8B-Instruct、Medusa 头、Meta 的 MTP 模型以及 Qwen3-4B-Inst-2507-MTP 构建的五组起草模型—目标模型配对上，我们在 AIME 2025 和 GSM8K 上进行评估。结果表明，AMTP 的解码速度最高可达到标准解码的 4.1 倍，并在 10 种设置中的 8 种中达到或超过固定窗口方法，吞吐量最高提升 10%。