用于快速随机扩散采样的自适应二阶求解器

arXiv:2610.03034v1 公告类型：新 摘要：扩散模型依赖需要进行时间离散化的数值求解器，而时间离散化会显著影响采样成本与质量之间的权衡。然而，逆过程的计算难度会沿采样轨迹变化，也会因数据分布不同而变化，因此离散化方案的选择十分重要。我们将比例-积分（PI）步长控制方法应用于扩散过程，并使用我们针对扩散过程设计的噪声归一化误差估计器。不同于扩散领域现有的仅响应当前误差的自适应方法，PI 求解器还会纳入前一次误差，从而实现更加平滑的步长调整。我们进一步展示了，这些逐样本轨迹具有共享结构，可以将其聚合为一个固定调度方案，同时保留自适应采样的大部分优势。我们在自然图像和语言数据集上评估了这两种方法，以质量为指标，并在神经网络评估次数（NFE）相同的条件下使用 FID 进行衡量，同时将其与广泛使用的随机求解器和调度方案进行比较。对于图像数据，在使用随机 Heun 采样器时，我们的固定离散化方案在样本质量方面优于常用的 EDM 调度方案；在 NFE 较低时，使用 EDM-churn 采样器也能取得更好的效果。此外，我们的 PI 自适应求解器获得了优于大多数随机和自适应基线方法的 FID，但在低 NFE 条件下未能超过 EDM-churn 采样器。对于语言扩散，在低至中等 NFE 条件下，就困惑度而言，我们的求解器优于 EDM 调度方案和熵调度方案，但代价是较低的词元熵。最后，我们发现，逐样本自适应性的收益取决于具体问题。在一维玩具示例中，这种收益非常显著；而对于图像和语言数据，其收益仅较为有限，在某些情况下，平均调度方案甚至优于 PI 自适应求解器。代码位于 https://github.com/ellakemperman/adaptive-second-order-diffusion-solvers】【。