arXiv cs.LG精选75

重新思考预测时域:在少步 MeanFlow 中将模型查询与状态更新解耦

Rethinking Prediction Horizons: Decoupling Model Queries from State Updates in Few-Step MeanFlow

· 1小时前

精选理由

揭示预测时域会随查询位置与状态影响生成质量,并提供无需重训、无需增加查询的采样改进方法。

AI 摘要

arXiv:2610.20071v1 公告类型:新投稿 摘要:MeanFlow 预测区间平均速度,但传统的少步采样将向模型查询的区间与状态更新的时长绑定。我们在推理时将这两个量分离,在固定模型、更新网格和查询次数的同时改变预测时域。我们的核心发现是,时域响应既取决于查询位置,也取决于进入该次查询的状态。在分类器无关引导(CFG)强度为 2 时,对七个独立训练的 CIFAR-10 检查点进行的实验表明,较长的时域会在早期步骤使 FID 变差,却会在中点使其改善。为探究这一响应是否仅由查询时间决定,我们固定中点查询以及当前和后续的引导,仅改变此前的 CFG。在五个此前已研究的检查点上,留出的析因实验结果显示,中点时域带来的平均 FID 改善从 0.109 增至 1.308,表明其对传入状态的分布具有敏感性。一条固定的四次查询规则无需重新训练或增加查询次数,即可使 CIFAR-10 的平均 FID 降低 2.023,其中也包括在规则选定后训练的五个检查点上的改善。一条更温和的规则在更强的固定网格上也使平均 FID 改善了 1.041,并且该固定规则在所评估的公开 ImageNet-256 和 AFHQ 检查点上也带来了 FID 改善。然而,在历史 CIFAR 测试中,相同预算下的校准更倾向于采用查询起点偏移;而在两个公开 ImageNet 模型上,所测试的 Horizon 分配相较于 Grid+Start 并未带来额外的 FID 改善。因此,预测时域是一种独立的、对位置和状态敏感的推理控制手段,但并非在所有情况下都是首选。

查看原文(arXiv cs.LG)