冻结的流会遗忘:诊断并恢复潜流世界模型中丢失的运动
Frozen Flows Forget: Diagnosing and Restoring Lost Motion in a Latent-flow World Model
精选理由
揭示潜变量世界模型丢失运动的根因,并提出无需重训表示即可恢复时空运动的有效方法。
AI 摘要
在冻结的自监督潜空间中整合流的潜在世界模型,训练稳定且成本低廉,却会悄然丧失操控最依赖的属性:运动。预训练流从不移动被操控的物体;使用仅潜空间损失重新训练它,也只会将静止替换为类似瞬移的运动。我们追溯发现,失败源于训练信号而非表征:稀疏锚点、仅潜空间的监督从未说明变化应在时间跨度中的哪个位置发生。借助解码增强的滚动训练(DART),这一问题得以修复,同时保持表征冻结,仅使用解码路径监督重新训练流。在完整评测协议下,DART 的表现优于其仅使用潜空间的基础模型,恢复了运动的时间结构,并使预测运动重新与场景耦合;在更大规模下,它进一步提升了预测质量,弥合了与基于预言信息的插值参考之间剩余差距的近一半。最后,我们报告了一个出人意料的评测发现:仅使用像素误差会奖励静止不动的预测。