通过数据空间迭代实现少步生成
Few-Step Generation via Data-Space Iteration
精选理由
新颖度 84 / 可信度 78,来自 arXiv cs.LG。
AI 摘要
arXiv:2610.12102v1 公告类型:新 摘要:流匹配已成为训练高质量生成模型的一种可扩展范式,但从所学习的概率流中进行采样需要进行多次网络评估。蒸馏可以将这一成本降低到一次或少数几次评估;然而,单步生成通常会牺牲质量,因此少步生成成为实际应用中的主要工作模式。现有的少步方法沿概率流执行迭代计算,因而需要固定且由人工选择的时间步离散化方案。这种离散化通常依赖启发式方法进行选择,调优成本高;当不同样本或空间位置的细化难度存在差异时,它还可能形成限制。我们提出了数据空间迭代,一种彻底消除流离散化的少步生成框架。从噪声开始,共享生成器直接在数据空间中细化其预测结果,并在每次迭代中进行训练,以生成在其模型容量允许范围内的最佳样本。我们的方法只需极少改动即可与分布匹配蒸馏(DMD)相结合,从而能够在匹配的训练设置下,对不同迭代方法进行受控比较。在类条件 ImageNet 256x256 任务上,数据空间迭代优于标准离散化基线,并达到或超过通过调度搜索选出的变体,同时无需针对特定调度方案进行训练。这些结果表明,对于快速生成,数据空间迭代是离散化流空间迭代的一种简单而有效的替代方案。