arXiv cs.LG精选74

生成流的普适性与收敛性

Universality and Convergence of Generative Flows

· 5天前

精选理由

揭示生成流损失的可靠性边界,并给出采样误差与训练收敛的理论保证

AI 摘要

arXiv:2610.05490v2 公告类型:替换 摘要:生成流通过训练流使其达到平衡,从而从未归一化目标分布中采样,而训练损失正是实践者所关注的信号。我们探讨这一信号究竟有多大价值:较小的损失是否能保证采样器准确,损失能否降至零,以及梯度下降达到这一目标的速度。损失决定了第一个问题的答案。通过差值比较平衡两侧的损失,能够以总变差距离界定流所隐含采样器的误差,并且界中的常数是显式的,不涉及策略;而通过比值进行比较的流匹配损失则不存在这样的界,即使在单个环上,只要其生成器在平衡点处连续,也已经如此。在图上,反向策略决定了另外两个问题的答案。一旦将其固定,平衡就等价于反向链下的不变性,因此在有限图上存在性是自动满足的;而一个常数——该反向链的格林算子范数,它所发挥的作用类似于谱隙的倒数——决定了平衡流附近损失曲率的上下阶,并为训练在其附近的收敛速度设定下限。其作用机制在于,梯度下降沿着反向策略对流进行扩散。对于详细平衡和轨迹平衡的平方对数生成器,在任意有限、路径连通的图上,从任意正初始化出发,在状态上训练平衡损失都能全局收敛。当反向轨迹的平均长度较短时,该常数仍可能为无穷大,此时精确流匹配可能失败。我们通过在可枚举状态空间上的精确计算检验了这些界和收敛速率,并且每个定理都带有由 Lean~4 开发计算出的认证状态。

查看原文(arXiv cs.LG)