用于扩散加速的 Koopman 观测器：利用浅层测量校正特征预测

arXiv:2610.10366v1 公告类型：new 摘要：特征缓存通过使用此前计算的激活值进行预测，替代开销高昂的网络评估，从而加速扩散采样。然而，仅基于历史特征的预测无法直接纳入当前去噪状态的变化。我们研究了能否将低成本、即时计算的特征作为观测值，用于校正这些预测。我们提出了一种观测校正 Koopman 框架，用于加速冻结的扩散模型。利用校准轨迹，我们识别出有限维、时变的 Koopman 近似模型，共同描述网络浅层和深层特征的增量。在加速采样过程中，这些算子预测高成本深层特征的演化，而观测到的浅层特征中的新息则用于校正预测状态。周期性的完整评估用于刷新观测器，同时生成模型的所有参数保持不变。该表述支持对时间预测和观测校正进行可控比较。在每个数据集上进行三次每次包含10,000张图像的运行，相较于采用相同四部分步长调度的按通道仿射预测方法，我们的方法在 CIFAR-10 上将成对 Inception 特征均方误差降低了 $19.9\%$，在包含十个类别的 ImageNet 子集上降低了 $11.9\%$。匹配消融实验表明，观测校正额外带来了 $4.54\%$ 和 $4.67\%$ 的降低。相较于 DDIM-50，该观测器实现了 $1.89\times$ 和 $1.85\times$ 的实测加速，在无需重新训练去噪器的情况下，支持提升对参考采样器的保真度。