arXiv cs.LG精选76

通过训练动力学作用实现一步生成建模

One-Step Generative Modeling via Training Dynamics Action

· 11天前

精选理由

提出兼顾分布迁移与参数协同成本的一步生成训练方法,ImageNet上FID低于1.1。

AI 摘要

arXiv:2610.00518v1 公告类型:新 摘要:一步生成模型通过训练时的迭代输运构建静态生成器。现有输运目标主要评估分布运动,然而神经生成器需要通过共享参数更新,协同实现所要求的样本位移。训练时构建过程引出了一个问题:一旦训练成为构建最终一步映射的迭代过程,究竟应优化什么:下一步分布运动,还是有限容量生成器学习最终映射的路径?为解决这一问题,我们提出训练动力学作用(Training Dynamics Action,TDAction),在保持预设分布进展水平的同时,根据局部共享参数实现成本选择输运目标。我们将该成本表述为软终端控制问题,并推导出闭式的 Batch Tangent Action-to-Go 值,同时考虑参数耗费和终端失配。该准则捕捉了独立成对成本所忽略的跨样本交互;在各向同性可动性条件下,对于确定性的平衡耦合,该准则与二次欧氏匹配一致。随机化切向探针提供了一种低秩实现方式,能够构建共享的分离目标,而无需在推理时增加轨迹。我们通过受控实验考察生成器几何结构、输运选择与实际局部作用之间的关系。在 ImageNet $256\times256$ 上,TDAction 无需蒸馏即可实现低于 1.1 的 FID。

查看原文(arXiv cs.LG)