作为世界模拟器的视频生成模型

我们探索了在视频数据上对生成模型进行大规模训练。具体而言，我们在不同时长、分辨率和宽高比的视频与图像上联合训练文本条件扩散模型。我们利用了一种 transformer 架构，该架构作用于视频和图像潜在代码的时空片段。我们最大的模型 Sora 能够生成一分钟的高保真视频。我们的结果表明，扩展视频生成模型是构建物理世界通用模拟器的一条有前景的路径。