物理学的无形之手：当视频扩散模型知道的比展现的更多

arXiv:2606.05328v2 公告类型：replace-cross 摘要：现代视频扩散模型生成的视频日益逼真，且具有越来越强的时间连贯性，这促使人们将其视为世界模拟器的候选方案。然而，这些模型究竟是在内部编码了物理结构，还是仅仅复现了训练中见过的运动模式，目前仍不清楚。我们沿着与物理合理性已知的真实视频相对应的潜在轨迹，对视频扩散模型进行探测，以研究这一问题。为获得这些轨迹，我们从无噪声的视频潜在表示出发，对学习到的速度场进行反向积分直至噪声，从而近似逆转确定性采样过程，进而获取模型的中间状态和注意力图。利用这些恢复的轨迹，我们表明，在 IntPhys 和 InfLevel 上，均可从扩散 Transformer 的状态中线性解码出物理合理性，平均准确率达到约 81.27%，优于 V-JEPA 和 VideoMAE 等专门的表征学习基线。令人惊讶的是，VAE 的潜在输入中并不存在这一信号，它是在去噪 Transformer 内部涌现的，尽管该模型并未采用自监督预测目标进行训练。这些发现表明，具有物理意义的表征可以作为生成式去噪的副产物而产生。