去噪表面：为扩散大语言模型服务建模并预测推理成本

arXiv:2610.00499v1 公告类型：新发布 摘要：随着扩散大语言模型（dLLMs）能力不断增强，它们正从研究环境走向现实世界的服务场景，在此场景中，请求管理（如调度和资源分配）依赖于对单个请求推理成本的准确估计。然而，常见的成本代理指标并不适用于 dLLMs：输出长度忽略了一次前向传播可以解掩码多个 token，而去噪步数则忽略了每一步成本的异质性。我们观察到，块自回归生成机制在输出块和块内去噪步骤上形成了一个二维执行结构，而这些代理指标将其压缩成标量，丢弃了刻画成本所必需的信息。受此启发，我们提出去噪工作负载表面（Denoising Workload Surface，DWS），将这一二维的块—步骤结构保留为概率表面，用于对异质的单步成本进行加权。随后，我们设计了一种由粗到细的训练方案，使一个仅依赖提示词的轻量级预测器能够准确预测复杂的 DWS。即使在单个 CPU 核心上，该预测器也能高效运行，从而避免与服务模型争用 GPU。由于 DWS 将请求相关的执行行为与部署特定的成本因素解耦，该预测器无需重新训练即可迁移到不同的硬件配置。在现实世界的服务实验中，与基于标量的预测器相比，DWS 将成本预测误差最多降低了 2.50 倍；而由 DWS 指导的最短作业优先调度器则将在线聊天机器人的端到端延迟最多降低了 1.92 倍。