CaliBench：视频世界模型的随机动力学在物理上是否经过校准？

视频世界模型通过生成式采样来近似物理结果的随机分布，但现有基准要么对单个生成结果评分，要么在整个数据集上粗略比较分布，使得特定现象的细粒度偶然不确定性未得到检验。我们提出 CaliBench，它在具有物理可解释性的离散空间中对结果进行评分——例如箱位索引、骰子面、花色、颜色——而不是像 FID 那样在学习得到的特征空间中评分，因此可以直接测量其与已知参考分布的距离。我们构建了参考分布具有闭式形式的结果空间（二项式 Galton boards、Bernoulli forks、均匀骰子/纸牌/彩票、偏斜的欧洲轮盘颜色），从而实现精确的校准测试。我们将性能分解为两个正交维度，而单一准确率指标会将它们混为一谈：可评分性，即生成结果中能产生可评分结果的比例；以及校准性，即该样本相对于参考分布的总变差距离。卡方检验用于评估显著性；由于校准性是其零假设，它只能证明失校准，并且在每个单元 N=32 时只能检测到较大的偏差。我们将其应用于九个场景和六个图像到视频模型（WAN-2.7、SeeDance-2.0、HappyHorse-1.0、Veo 3.1、Runway Gen-4.5、Cosmos3-Super），每种组合生成 32 次。模型普遍会将概率质量集中在少数几个结果上，而不是复现参考分布。大多数场景-模型组合都存在显著失校准，极端情况下会坍缩到单一结果，例如 Veo 3.1 在骰子场景中的表现。在轮盘场景中，生成结果常常让小球位置含糊不清，导致多个模型的可评分性较低。性能因场景而异：没有任何模型在全部九个场景中占优。我们发布了该协议以及一个指标（平均归一化总变差，mnTV），用于将新模型与我们的结果进行比较。