arXiv cs.LG精选79

期望的批次最优传输计划及其对流匹配的影响

Expected Batch Optimal Transport Plans and Consequences for Flow Matching

· 5天前

精选理由

揭示小批量最优传输的总体耦合规律,为流匹配的稳定训练与步长设计提供理论依据。

AI 摘要

arXiv:2605.12174v2 发布类型:替换 摘要:在大规模学习中,针对随机小批次求解最优传输(OT)是精确 OT 的常见替代方案。在流匹配(FM)中,这种替代方案用于获得类似 OT 的耦合,从而使概率路径变直并降低数值积分成本。然而,重复执行小批次 OT 所诱导的总体层面耦合仍未得到充分理解。我们将这一耦合形式化为期望批次 OT 传输计划 $\overline{\pi}_{k}$,其通过对独立的、大小为 $k$ 的小批次上的经验 OT 传输计划取平均得到。随后,我们证明了其在大批次下的一致性,并在与生成建模相关的半离散情形中,推导出传输成本偏差以及 $\overline{\pi}_{k}$ 收敛至 OT 传输计划的速率。对于 FM,这得到了一种总体耦合,其诱导的速度场具有足够的正则性,能够定义从源分布到离散目标分布的唯一流。最后,我们在一个易于处理的双原子模型以及合成数据和图像实验中,量化了 OT 批次大小与数值积分之间的相互作用。

查看原文(arXiv cs.LG)