通过免训练轨迹路由加速视频扩散

视频扩散的计算成本很高，因为它需要在许多去噪步骤中运行大型模型。即使采用步骤蒸馏，推理仍然十分昂贵，因为每个蒸馏步骤仍需进行一次成本高昂的模型评估。我们提出 TRACK：通过 top-K 选择实现轨迹感知的容量路由，这是一种异构去噪策略，在选定的步骤中于兼容的大型模型和小型模型之间切换，从而降低每次去噪评估的平均成本。切换步骤通过校准过程确定。TRACK 首先使用大型模型展开一条参考轨迹。随后在每个步骤中，同时收集小型模型的预测，并将其与大型模型的预测进行比较，以获得相对差异分数。两个模型接收相同的潜变量、时间步、条件信息和引导输入。在校准集上聚合这一信号后，可得到跨扩散步骤的差异分数图，并据此确定高效推理过程的切换策略：对质量敏感的步骤继续使用大型模型，而将差异分数较低的步骤路由至小型模型。推理时，每个步骤仅执行所选模型，无需重新训练、修改架构或调度器，也无需在线同时评估两个模型。在 Wan 2.1、Cosmos 3、TurboDiffusion 和 FastVideo 上，TRACK 分别实现了 $1.95\times$、$2.04\times$–$2.73\times$、$2.69\times$ 和 $2.17\times$ 的加速，同时总体质量相当，并保持了较高的多样性。由此，TRACK 确立了自动化、免训练的模型切换方案，将其作为视频扩散的一种实用加速范式。