arXiv cs.AI精选76

PAWBench:我们距离概率对齐的世界建模还有多远?

PAWBench: How Far Are We from Probabilistically Aligned World Modeling?

· 47天前

精选理由

帮助读者看清视频世界模型与真实物理分布的差距,并获得评测基准。

AI 摘要

近期的视频生成模型越来越多地被定位为世界模型。许多物理过程可以以不止一种有效方式展开。因此,世界模型不仅应复现一条合理的轨迹,还应复现在相同初始观测和动作下可能行为的分布。我们将这种分布层面的要求称为概率对齐。然而,现有评估大多评估单个视频的合理性,并不检验重复生成是否能恢复正确的分布。这提出了一个核心问题:当前的视频生成器距离概率对齐的世界建模还有多远?为回答这一问题,我们将概率对齐形式化为世界模型的一项分布准则,并引入 PAWBench,这是一个用于将视频生成器评估为世界动态随机采样器的基准。我们进一步引入 PAWEval,这是一种结果层面的协议,可将重复的视频推演转换为可能物理行为的经验分布。在 50 个场景和 11 个当前系统中,没有任何模型能够在恢复有效行为范围的同时始终匹配参考概率。在确定这一差距之后,我们测试了语言提示、初始噪声采样或模型训练是否能够重塑模型的预测分布。我们相信,我们的工作可作为未来推动概率对齐世界建模研究的基础。

查看原文(arXiv cs.AI)