APEX：更智能地推测，而非更深入地推测

arXiv:2610.07780v1 公告类型：交叉发布 摘要：推测解码通过在目标模型验证之前起草多个词元，降低大语言模型的推理延迟，但其有效性同时取决于候选生成机制和草稿深度。固定配置无法响应生成过程中可预测性、重复性和接受率的变化，因此，更深入的起草可能增加无效计算，却无法带来成比例的加速。我们提出 APEX，这是一种通过学习得到的控制器，借助请求级专家选择和块级深度自适应，在解码速度与草稿词元浪费之间取得平衡。APEX-Router 为每个请求从 EAGLE-3、n-gram 和草稿模型推测方法中进行选择，而 APEX-Depth 则利用因果解码信号和验证器近期反馈，在每个验证块调整草稿长度。APEX 将被接受的草稿长度建模为删失生存反馈，学习各位置的拒绝风险、块执行成本，以及兼顾吞吐量、已接受进展和浪费词元的动作效用。这使控制器能够在保留目标模型验证流程的同时，自适应调整推测策略。我们将 APEX 集成到 vLLM 中，并使用 Qwen3-8B 在六种工作负载上进行评估，相较于自回归解码，实现了最高 5.24 倍的加速。在汇总评估中，APEX-S 实现了 4.27 倍的加速，而 APEX-B 实现了 3.27 倍的加速，且相较于 k=16 的固定 n-gram 推测方法，浪费词元比例相对降低了 41.0%，为平衡加速效果与草稿词元利用率提供了不同的运行配置。