匹配分布，而非计算量：训练后多词元预测头

arXiv:2610.00888v1 公告类型：新增 摘要：多词元预测（MTP）通过使语言模型在每次前向传播中起草多个后续词元，提高自回归生成的吞吐量；同时，对起草词元进行验证可确保骨干模型的词元分布得到保留。所有已公开的 MTP 系列模型（MiMo-7B、DeepSeek-V3、Qwen3）都在数万亿词元的完整预训练过程中与骨干模型联合训练，因此在预训练阶段确定了起草器的质量。我们探究：在冻结的推理模型上，仅对目标模型生成的思维链进行一次轻量级训练后处理，是否足以达到相同的预期吞吐量加速效果；并研究如何优化基于此类检查点构建的服务时系统。我们得到三个发现。1）对于采用 $K{=}3$ 个链式 MTP 头的冻结 Qwen3-8B，我们表明，在约 $\approx\!2.5$B 个词元上使用普通交叉熵的训练后处理方案，在数学、代码和知识基准测试上达到了或超过了联合训练 MiMo-7B 的预期加速效果。与联合预训练 MiMO-7B MTP 基线相比，我们的训练后处理方案所使用的 MTP 训练词元减少了 $10^3$--$10^4$ 倍。2）我们提出了一种具备链感知能力的起草词元验证规则松弛方案，允许词元分布相对于骨干语言模型发生有界偏移。我们表明，在保持任务准确率的同时，该松弛方案使每个基准测试的预期加速提升了 $+12$ 至 $+16\%$。3）我们提出了一种自适应控制器，可在推理时动态选择启用的 MTP 头数量，并证明在固定最大 MTP 起草长度的情况下，可以恢复速度加速损失的 $11$--$14\%$。