CAST：基于一次前向传播块草稿器的成本感知投机树

arXiv:2610.00321v1 公告类型：cross 摘要：投机解码通过低成本地草拟未来 token，并利用目标模型并行验证这些 token，从而加速大型语言模型推理。块草稿器在一次前向传播中为一整块未来 token 进行打分，但标准解码只验证得分最高的链，并丢弃其他候选。由于这些候选已经完成打分，验证更多候选只会增加目标模型的计算量，而不会增加草拟开销。我们提出 CAST（成本感知投机树），将这些候选组织成一棵树，并通过一次目标模型前向传播对其进行验证，同时保持目标模型、草稿器权重和解码规则不变。为决定树的宽度，CAST 会不断加入候选，直到下一个候选带来的预期收益不再超过其增加的验证时间。因此，树的宽度可根据一次延迟测量针对每种部署环境自适应确定，无需遍历测试不同宽度。我们在五个领域、三代 GPU 和两类模型上评估了 CAST。在其预测宽度下，CAST 在全部八种设置中都比标准链更快，最高可提速 43%。我们还发现，最佳宽度高度依赖于部署环境。在验证成本于内核边界处跃升的情况下，包含 128 个 token 的树仅比标准链快 2%，而预测宽度下的树则快 20%。此外，我们证明，在贪心解码和采样解码下，CAST 都不会改变目标输出分布。代码地址：https://github.com/js-lee-AI/CAST。