StateCraft：通过抽象状态推理增强视频世界模型

视频世界模型旨在模拟具有逼真外观和动态特性的复杂环境。要在长时间交互中保持一致性，就需要追踪过去的动作，并理解这些动作如何影响环境。视频世界模型每次只能生成对整个世界的局部观测。仅记住过去的观测并不一定能满足所有场景的需求，因为在一系列动作之后，这些观测可能已无法反映世界的实际状态。我们引入了一种范式，将持久且可更新的抽象状态与视觉状态解耦。抽象状态随着世界的演变追踪各实体的变化，并作为表示当前视图的视觉状态的生成条件。我们提出了 StateCraft，这是一种将语言模型与视频扩散模型相结合、用于推动动态世界演变的新型架构。我们在生成式界面上评估了该方法。这类界面具有很大的挑战性，因为单个动作就可能改变当前不可见的部分状态。为支持训练和评估，我们开发了一套数据采集流程，无需人工或智能体监督，即可大规模生成信息丰富、标注密集的轨迹，同时构建了一项衡量生成质量、记忆能力和可控性的基准。在该基准上，我们的方法优于现有最先进的基线方法。我们展示了 StateCraft 在长轨迹中保持高度自洽性和高生成质量的能力。由于抽象状态是显式的，因此可以直接编辑；即使编辑后的状态从未在数据中出现，生成结果也能遵循这些编辑。最后，在一项概念验证性质的 3D 实验中，动作改变了一个未被观测到的房间的照明，表明该范式也可应用于空间环境。项目页面：https://insait-institute.github.io/StateCraft/。