模型感知的调度通过逐纤维最优传输改进生成
Model-Aware Schedules Improve Generation via Fiberwise Optimal Transport
精选理由
深度 96 / 新颖度 91,来自 arXiv cs.AI。
AI 摘要
扩散与流匹配调度控制信号系数和噪声系数,沿仿射概率路径将数据与噪声混合。最小化定义在系数路径上的动力学作用量受最优传输启发,有助于解释强基线方法,但它与模型无关,也忽略了预测误差。本文提出一种基于逐纤维最优传输的模型感知调度构造。在概率路径上的固定时间和状态处,兼容的信号/噪声分解构成一个仿射纤维。我们通过在这些纤维内对真实分解与预测器诱导分解之间的最优传输代价取平均,定义逐纤维预测风险。在固定系数曲线上,将该风险与系数路径动力学作用量结合,可得到闭式最优时间分配。该构造可扩展到一般线性预测目标,并且风险曲线可以利用早期基线检查点进行估计。我们在不同预测目标、训练配置、风险估计检查点、数据集和架构下评估 DDPMs 与流匹配。在所有实验中,我们的模型感知调度均稳定优于强基线;例如,在 CIFAR-10 上进行 16 次函数评估时,流匹配的 FID 相对降低了 38.6%。每个与模型无关的动力学基线都会确定其自身的动力学参考坐标。在这些坐标中,不同设置下独立训练的模型所得到的逐纤维风险曲线,在归一化为单位面积后高度吻合。训练中使用的调度变形也呈现出一致性,这表明在所评估的模型和设置之间存在经验上的普适性。基于预训练检查点的诊断进一步表明,这种归一化风险的一致性也适用于更大型的条件潜变量扩散模型和 2-RF 模型。一个固定的解析分配模板无需进一步进行风险估计或针对具体模型拟合,便可保留大部分模型感知改进效果。