单步生成模型中的深度即时间

近期兴起的单步生成模型通过蒸馏或学习流映射，将扩散模型的多步轨迹压缩为单步过程，如今已达到能够生成高质量图像的临界点。在此基础上，我们提出一个自然的问题：当生成过程被压缩为一次前向传播时，多步扩散中的去噪轨迹会发生什么变化？我们给出一个称为“深度即时间”的经验性观察：多步扩散在多个采样步中执行的去噪计算，似乎会沿着单次前向传播的网络深度展开，并且可以使用模型自身的输出头对中间层进行解码来恢复这一过程。最有趣的是，我们发现，这种沿深度方向的计算取决于流映射被训练去解决的输运任务。最令人意外的情况出现在 MeanFlow 中：通过探测更短的输运区间，我们发现单次网络评估中同时存在去噪和重新加噪过程。相比之下，在没有经过带时间索引的输运任务训练的生成器（例如 drifting models）中，并未观察到相同的沿深度去噪现象。因此，我们表明，表现出沿深度去噪现象的模型，在跨层计算方面具有更高的可压缩性：一个 MeanFlow \texttt{SiT-L/2} 模型可以在参数量上压缩 $16.6\times$，变为单个带时间条件的模块。我们对这种先去噪后重新加噪的行为给出了解释，并表明，当我们将逐层计算显式地视为一个流时，可以训练单个带时间条件的模块，使其跨层执行去噪，从而在参数量上将 MeanFlow \texttt{SiT-L/2} 模型压缩 $16.6\times$。综合来看，这些结果表明，扩散模型中的时间计算并未因单步生成而消失，而是被重新组织到了网络深度之中。